kafka
Bright Huang
这个作者很懒,什么都没留下…
展开
-
flume监控采集数据导入到kafka中topic进行消费
flume监控采集到的数据到kafka中topic进行消费1.创建kafka的topic2.创建并编辑flume脚本3.执行flume脚本4.复制数据到被flume监控的路径5.查看队列分区信息5.1查看队列信息数6.消费消息7.删除topic1.创建kafka的topickafka-topics.sh --create --zookeeper 192.168.116.60:2181 --topic user_friends_raw --partitions 1 --replication-facto原创 2020-12-08 20:11:56 · 2248 阅读 · 0 评论 -
kafka之java API模拟生产者消费者
kafka java API模拟生产者消费者1.Linux启动服务2.生产者代码Producer API消息发送流程Linux上查看生产者队列内容3.消费者代码Consumer APILinux上查看消费者队列内容4.maven依赖1.Linux启动服务zkServer.sh startkafka-server-start.sh -daemon /opt/server.properties[root@hadoop001 ~]# kafka-topics.sh --create --zookeepe原创 2020-12-07 20:06:47 · 238 阅读 · 0 评论 -
kafka2.11安装(集群)以及介绍使用(有安装包)
需要事先安装好zookeeper:可参考zookeeper安装详情kafka2.11下载链接: https://pan.baidu.com/s/1P1WVr-KCeoaGYkNkikSkIw提取码: 3ryz1.kafka2.11安装文件配置tar-zxvf kafka_2.11-2.0.0.tgz -C /opt //解压mv kafka_2.11-2.0.0/ kafka211/ //改名cd /opt/kafka211/configvi server.properties添加原创 2020-12-03 19:56:55 · 1780 阅读 · 0 评论 -
Kafka Stream将一个topic的数据进行业务处理写入到另一个topic中(拆分开每个id的分类关系)
kafka stream 将一个topic里的消息进行业务处理,再写入到另一个topic进行消费(拆分开每个id的分类关系)以 12112,1211,yes 的格式消费出来代码:package cn.bright.kafka;import org.apache.kafka.common.serialization.Serdes;import org.apache.kafka.streams.*;import org.apache.kafka.streams.kstream.KStream;原创 2020-12-21 17:42:02 · 2143 阅读 · 0 评论 -
Kafka Stream Window操作之Hopping、Tumbling 、Session
Kafka Stream窗口(1)Hopping Time Window(2)Tumbling Time Window(3)Sliding Window(4)Session Window(5)Hopping Time+Tumbling Time+Session Window 代码流式数据是在时间上无界的数据。而聚合操作只能作用在特定的数据集,也即有界的数据集上。因此需要通过某种方式从无界的数据集上按特定的语义选取出有界的数据。窗口是一种非常常用的设定计算边界的方式。不同的流式处理系统支持的窗口类似,但不尽原创 2020-12-21 17:28:56 · 1448 阅读 · 0 评论 -
kafka Stream实例(word count和sum功能)
java API操作实现kafka Stream1.启动kafka2.创建并启动生产者和消费者topic3.java代码操作kafkaAPI3.1 数据同步输出3.1.1 maven依赖3.1.2 java代码运行3.2 wordcount stream 实例3.2.1 按上面的步骤新创建并运行 :3.2.2 java代码运行3.3 sum stream 实例3.3.1 按上面的步骤新创建并运行 :3.3.2 java代码运行1.启动kafkazkServer.sh start //启动zooke原创 2020-12-17 16:37:54 · 766 阅读 · 0 评论