kafka
IT菜籽U
当你发现自己的才华撑不起野心时,就请安静下来学习吧
展开
-
kafka笔记
kafka本身只是一种数据管道和缓存的工具,是无主数据处理工具,他对数据的接受和抛出都是被动的.原创 2015-10-22 16:22:15 · 721 阅读 · 0 评论 -
Flume+Kafka+SparkStreaming整合
摘要:目次 1.Flume先容. 2 1.1 Flume数据源和输出体式格局. 2 1.2 Flume的焦点观点. 2 1.3 Flume布局. 2 1.4 Flume装置测试. 3 1.5 启动flume4 2.Kafka先容. 4 ]目录1.Flume介绍. 21.1 Flume数据源以及输出方式. 21.2 Flume的核心概念. 21.3 Flume转载 2016-11-16 18:07:38 · 831 阅读 · 0 评论 -
Flume中同时使用Kafka Source和Kafka Sink的Topic覆盖问题
转载:lxw的大数据田地 » Flume中同时使用Kafka Source和Kafka Sink的Topic覆盖问题如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events,便会遇到Kafka Topic覆盖问题,具体表现为,Kafka Source可以正常从指定的Topic中读取数据,但在Kafka Sink中配置的目标T转载 2016-11-17 09:04:52 · 4784 阅读 · 1 评论 -
玩转Flume+Kafka原来也就那点事儿
作者介绍 程超,易宝支付架构师,10年JAVA工作经验,擅长分布式和大数据技术领域,目前主要从事金融支付类方性能分析向。 一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。设计目标:转载 2016-11-23 09:35:57 · 3929 阅读 · 0 评论 -
kafka基本操作命令总结以及Kafka界面化管理链接
./kafka-topics.sh --zookeeper 192.168.70.222:2181,192.168.70.223:2181,192.168.70.224:2181 --topic TestTopic --replication-factor 1 --partitions 1 --create./kafka-console-consumer.sh --zookee原创 2017-08-31 20:37:31 · 6263 阅读 · 0 评论 -
Kafka offset存储方式与获取消费实现
转载:http://www.aboutyun.com/thread-21104-1-1.html1.概述目前,Kafka 官网最新版[0.10.1.1],已默认将消费的 offset 迁入到了 Kafka 一个名为 __consumer_offsets 的Topic中。其实,早在 0.8.2.2 版本,已支持存入消费的 offset 到Topic中,只是那时候默认是将消费的 offse转载 2017-10-19 09:15:32 · 1983 阅读 · 1 评论 -
主流的三种kafka监控程序
转载原文:http://top.jobbole.com/31084/通过研究,发现主流的三种kafka监控程序分别为:Kafka Web Conslole Kafka ManagerKafkaOffsetMonitor现在依次介绍以上三种工具:Kafka Web Conslole使用Kafka Web Console,可以监控:原创 2017-10-11 18:30:09 · 2355 阅读 · 0 评论 -
kafka界面管理安装
转载:http://blog.csdn.net/wuzhilon88/article/details/46300447 感谢博主分享!!概要Kafka Web Console是kafka的开源web监控程序.功能介绍如下:brokers列表连接kafka的zk集群列表所有topic列表,操作相应topic可以浏览查看相应message生产和消费流量图.转载 2017-10-12 14:01:06 · 6884 阅读 · 0 评论