KAFKA消息中间件
KAFKA基本命令,javaApi实现生产消费,对接Storm等知识点。
Ginoy
这个作者很懒,什么都没留下…
展开
-
大数据组件Shell工具分享(storm redis es kafka flume zookeeper)
目的自己编写个工具 用于集群的信息获取与监控 可以及时查看问题,无需查找繁琐命令,直接配置好就可用内容组件包括 java进程查看,redis集合,kafka集合,es集合,zookeeper集合 ,flume集合,strom集合Kafka演示1.选择输入对应编号 3 回车 即可出现Kafka操作合集2.展示Kafka当前 所有Topic 信息原创 2017-10-25 10:03:43 · 491 阅读 · 0 评论 -
STORM入门之(TridentTopology集成Kafka)
基本前几篇文章是StormTopology集成Kafka 是Storm基本入门知识 传送门:http://blog.csdn.net/yl3395017/article/details/77477716这篇介绍TridentTopology集成Kafka 话不多说 上代码Topology构建package com.storm.topology;import com.storm.原创 2017-09-04 09:28:19 · 777 阅读 · 0 评论 -
STORM入门之(Flume Kafka集成架构)
FlumeFlume作用:收集日志组件下载地址:http://archive.apache.org/dist/flume/1.6.0/ 版本:1.6.0以上集成KafkaFlume配置a1.sources = r1a1.sinks = k1a1.channels = c1 a1.sources.r1.type = syslogudpa1.sources.r1.po原创 2017-08-25 17:01:42 · 589 阅读 · 0 评论 -
KAFKA知识(SHELL命令)
Kafka(broker:9092,zookeeper:2181)一.服务启动启动kafka命令:nohup /kafka/bin/kafka-server-start.sh config/server.properties &停止kafka命令:pkill -9 -f config/server.properties二.基本操作注:Logs为主题topic原创 2017-06-23 17:19:30 · 1349 阅读 · 0 评论 -
KAFKA知识(Producer)
构建KAFKA Producer Brokerlist为kafka集群broker地址 可修改为“10.2.1.123,10.2.1.132”格式static { Properties props = new Properties(); // 此处配置的是kafka的端口 props.put("metadata.broker.list",BR原创 2017-07-25 13:44:29 · 349 阅读 · 0 评论 -
KAFKA知识(基本组成)
基本概念Kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群多个kafka实例组成,每个实例(server)成为broker。无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。BrokerKafka集群包含一个或多个服务器原创 2017-08-01 08:44:45 · 1276 阅读 · 0 评论 -
KAFKA知识(zk中架构图)
Kafka架构图架构在zookeeper中的拓扑原创 2017-08-02 10:29:15 · 1418 阅读 · 0 评论 -
STORM入门之(集成KafkaBolt)
根据第一篇文章:STORM入门之(Topology简易Demo)进行扩展集成KafkaSTORM入门之(集成KAFKA)传送门:http://blog.csdn.net/yl3395017/article/details/77449275新增Bolt:package com.storm.bolt;import java.util.Map;import org.apache.stor原创 2017-08-21 17:11:25 · 955 阅读 · 0 评论 -
STORM入门之(集成KafkaSpout)
此篇基于原有两篇文章基础上扩展STORM入门之(集成KafkaBolt) 传送门:http://blog.csdn.net/yl3395017/article/details/77452604KafkaSpout更新主要是构建KafkaSpout基本配置操作/** * 构建KafkaSpout */ private static void bui原创 2017-08-22 11:17:16 · 2226 阅读 · 2 评论 -
KAFKA知识(Consumer)
配置说明earliest 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费 latest 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据 none topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset...原创 2017-08-25 09:19:01 · 564 阅读 · 0 评论