kafka
文章平均质量分 59
suphieLiang
技术交流邮箱:suphieLiang@163.com
展开
-
将kafka数据导入Elasticsearch
基于当前最新版本logstash 6.0.0 不同版本的logstash输入输出语法略有不同。 Kafka->logstash->elasticsearch->kibana 下载logstash并解压 进入logstash/config目录新建文件 kafka-logstash-es.conf 编写文件kafka-logstash-es.conf input { //日志写入的数据源原创 2017-11-29 17:45:29 · 7105 阅读 · 0 评论 -
nifi发送http请求
流程概述:从kafka中消费json串,取json中的某几个属性值,作为参数进行http请求(GET请求或POST请求),接收返回参数存入文件,总流程如下。 ConsumeKafka:消费kafka中json串,如: {“id”:”111”,”userName”:”你好”} EvaluateJsonPath:通过添加Property取json串中某几个属性的值,传出的数据只有值。可添加多个原创 2018-01-03 17:32:31 · 6477 阅读 · 4 评论 -
kafka consumer消费者 offset groupID详解
kafka consumer:消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。 因为Kafka的broker是无状态的,所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset,意味着该consumer已经消费了该offset之前的所有数据。consumer可以通过指定offse...原创 2018-05-23 16:13:58 · 51875 阅读 · 6 评论 -
关于sparkStreaming整合kafka遇到的问题
首先概述一下,我的代码主要就是将kafka中消费的数据转到sparkStreaming中,并进行一系列的操作。这个代码在网上有很多相同的,在此不做太多论述。代码大概是这样的:第一个问题:权限问题,我的kafka集群是需要sasl安全认证登录,而在我的代码中并没有可以让我配置消费者的地方,因为是初学者总是哪里都想试试。首先尝试了通过JavaStreamContext设置KafkaConsum...原创 2018-06-14 15:10:00 · 2769 阅读 · 0 评论 -
kafka消费者
kafka consumer:消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。因为Kafka的broker是无状态的,所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset,意味着该consumer已经消费了该offset之前的所有数据。consumer可以通过指定offset,...原创 2018-07-26 11:11:10 · 504 阅读 · 0 评论 -
kafka生产者
kafka producer:消息生产者,就是向kafka broker中发送消息的客户端。kafka producer相关配置:其中:bootstrap.servers :kafka集群地址通常为 ***:9092,***:9092,***:9092acks:生产者认为一个请求完成,所需要kafka集群主服务的应答次数。这个配置控制已发送消息的持久性。下面是这个配置可能的...原创 2018-07-26 11:17:48 · 748 阅读 · 0 评论 -
zk及kafka集群搭建
一、zk集群搭建机器数量:奇数个(最少3台) zk及kafka依赖于java环境 centOs yum 安装命令yum -y install java-1.8.0-openjdk* zk配置dataDir=/aaa/zookeeperclientPort=2181maxClientCnxns=0initLimit=5syncLimit=2server.1=zk1:2...原创 2019-05-17 10:40:32 · 1109 阅读 · 0 评论