Kafka
lql_h
这个作者很懒,什么都没留下…
展开
-
Kafka的安装及基础配置
Kafka的安装及基础配置1、上传解压缩kafkatar xzvf ftp/kafka_2.10-0.10.1.0.tgz -C /usr/local/2、方便管理,更名文件夹mv /usr/local/kafka_2.10-0.10.1.0/ /usr/local/kafka3、Kafka开发包本身支持zookeeper命令,考虑到数据保存的方面,建两个文件夹,mk...原创 2019-05-15 14:47:16 · 211 阅读 · 0 评论 -
Kafka的生产者和消费者
1、依赖jar包 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId>...原创 2019-05-15 15:14:12 · 275 阅读 · 0 评论 -
flume的基本概述
Kafka处理千万级的数据,产生的初衷为了数据的收集及合理的消费,实际数据怎样获取几乎所有的项目都会使用log4j组件,为log4j组件设计一个通道,让他采集到的数据直接发送给消息系统,再有消息系统发送给其他的分析程序,这样就不需要大面积的修改已有的程序代码了Flume可以理解为日志系统和消息组件之间的过渡段http://flume.apache.org/F...原创 2019-05-15 15:39:00 · 211 阅读 · 0 评论 -
Flume整合log4j和Kafka
log4j配置配置文件修改log4j.properties# 设置要进行数据跟踪程序所在的名称log4j.logger.cn.mldn.myflume=INFO ,flumelog4j.appender.flume=org.apache.flume.clients.log4jappender.Log4jAppenderlog4j.appender.flume.layout...原创 2019-05-15 16:03:34 · 253 阅读 · 0 评论