zk及kafka集群搭建

一、zk集群搭建 机器数量:奇数个(最少3台) zk及kafka依赖于java环境 centOs yum 安装命令yum -y install java-1.8.0-openjdk* zk配置 dataDir=/aaa/zookeeper clientPort=2181 maxClient...

2019-05-17 10:40:32

阅读数 59

评论数 0

Python中使用flask框架遇到的一些小问题

flask框架中请求方法及请求参数 1、在flask框架中路由不标注请求方法默认为GET方法请求 2、在GET请求中,假设我的请求参数多个是key-value结构。我的首选传参模式是将参数作为json传入,通过request.args.get("message&quo...

2018-07-26 11:20:49

阅读数 611

评论数 0

kafka生产者

kafka producer:消息生产者,就是向kafka broker中发送消息的客户端。 kafka producer相关配置: 其中: bootstrap.servers :kafka集群地址通常为 ***:9092,***:9092,***:9092 acks:生产者认为一...

2018-07-26 11:17:48

阅读数 375

评论数 0

kafka消费者

kafka consumer:消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。 因为Kafka的broker是无状态的,所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset,意味...

2018-07-26 11:11:10

阅读数 112

评论数 0

关于sparkStreaming整合kafka遇到的问题

    首先概述一下,我的代码主要就是将kafka中消费的数据转到sparkStreaming中,并进行一系列的操作。这个代码在网上有很多相同的,在此不做太多论述。代码大概是这样的:第一个问题:权限问题,我的kafka集群是需要sasl安全认证登录,而在我的代码中并没有可以让我配置消费者的地方,因...

2018-06-14 15:10:00

阅读数 1172

评论数 2

superset权限配置

superset创建用户在当前页面可以增加用户、编辑用户、删除用户。在编辑用户、添加用户是可以为用户设置角色。给新用户Gramma以及addPermission角色,addPermission角色用于配置用户可以访问的数据,Gramma角色为有限访问。角色拥有不同的权限。在list Roles 中...

2018-05-23 16:31:53

阅读数 2176

评论数 0

superset使用说明

查看数据源添加一个slices点击选择一个数据源进行分析配置点击save as保存添加一个dashboard添加成功,可在目录中展示可对其进行展示、修改删除的操作

2018-05-23 16:21:49

阅读数 1110

评论数 0

kafka consumer消费者 offset groupID详解

kafka consumer:消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。 因为Kafka的broker是无状态的,所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset,...

2018-05-23 16:13:58

阅读数 22879

评论数 1

Jupyter Notebook安装及简单使用

Jupyter Notebook是一个交互式笔记本,支持运行 40 多种编程语言。Jupyter Notebook 的本质是一个 Web 应用程序,便于创建和共享文学化程序文档,支持实时代码,数学方程,可视化和 markdown。用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等。本文介绍...

2018-04-03 17:27:11

阅读数 424

评论数 0

nifi发送http请求

流程概述:从kafka中消费json串,取json中的某几个属性值,作为参数进行http请求(GET请求或POST请求),接收返回参数存入文件,总流程如下。 ConsumeKafka:消费kafka中json串,如: {“id”:”111”,”userName”:”你好”} Evalua...

2018-01-03 17:32:31

阅读数 1571

评论数 0

nifi通过自定义processor将数据流入Elasticsearch

此文章对自定义processor不做详细讲解。 总体流程如下 其中AddT为自定义processor AddT流入的数据为json格式流入的字段应与FlowMsgIn中相同 因此流入的数据应如: {“City”:”“,”param”:”cc”,”Number”:”12345”,”...

2018-01-02 14:33:47

阅读数 1097

评论数 0

将kafka数据导入Elasticsearch

基于当前最新版本logstash 6.0.0 不同版本的logstash输入输出语法略有不同。 Kafka->logstash->elasticsearch->kibana 下载logstash并解压 进入logstash/config目录新建文件 kafka-logsta...

2017-11-29 17:45:29

阅读数 4260

评论数 0

kibana使用入门

kibana可视化页面 :kibana安装地址:5601 首先要在Management中基于Elasticsearch中已有的index建立映射(_mapping) 若Elasticsearch中没有index可以在Dev Tools中使用命令行创建一个indexPOST /company_b...

2017-11-29 17:37:35

阅读数 2901

评论数 0

Zeppelin&Spark Zeppelin开发spark

呕心沥血,基本上经历了所有Bug才跑通,写了一篇文字最多的文档,愿大家少走弯路 首先配置spark的interpreter,其实并没有更改配置,其中master的配置纠结了好久因为跟网上所提供的配置方式并不一致,尝试了各种失败以及空指针后终于在网上找到一个不错的解释: mesos模式中使用me...

2017-11-24 11:23:28

阅读数 2062

评论数 0

使用zepplin查询hbase

首先进入欢迎页面,点击右上角的longin进行登录。 登录之后的页面为 点击zeppelin tutorial 进入如下页面 点击interpreter配置数据库驱动信息 default driver :org.apache.phoenix.jdbc.PhoenixDriv...

2017-11-21 17:16:08

阅读数 738

评论数 0

使用nifi将数据库数据上传到Elasticsearch

首先将数据库数据导出CSV文件,再将CSV文件转换成json格式文件 CSV在线转json地址:CSV在线转json 使用kibana在Elasticsearch中建立一个新的index POST /company_basic/info/_mapping?pretty 其中company_b...

2017-10-30 15:43:51

阅读数 2208

评论数 1

nifi中使用PutElasticsearch

processer中有putElasticsearch和putElasticsearch5,其中putElasticsearch对应的是2.x版本,putElasticsearch5对应的是5.x版本。本机安装的Elasticsearch为5.x版本,故选用putElasticsearch5。 建...

2017-10-25 15:40:15

阅读数 880

评论数 0

使用Phoenix连接hbase数据库

本文在Phoenix及hbase均已安装成功的前提下。在eclipse中使用jdbc连接hbase数据库。导入所需jar包<dependency> <groupId>org.apache.phoenix</groupId> ...

2017-10-17 17:37:17

阅读数 1166

评论数 0

druid集群的搭建

1、 启动zookeeper      下载zookeeper安装包,解压、安装      bin/zkServer.sh start 2、 修改druid配置文件 (1)      conf/druid/_common/common.runtime.properties             ...

2017-09-28 16:58:18

阅读数 1967

评论数 0

提示
确定要删除当前文章?
取消 删除