- 博客(4)
- 收藏
- 关注
原创 flume-NG采用syslogtcp方式监听端口
一、采集说明 本采集方式使用socket通信的方式,向flume发送数据进行采集,采集后的数据存储到hdfs和kafka。 二、配置文件 1、source采集层 port.properties# set agent nameagent.sources = r1agent.channels = c_kafka c_hdfs agent.sinks = s_kafka_k1 s_
2017-07-19 18:35:47 3872 1
原创 kafka集群安装
一、环境配置jdk版本:jdk1.8.0_111scala版本:2.11.8kafka版本:kafka_2.11-0.10.2.1二、kafka下载 kafka下载地址 注意:要选择对应的scala版本,否则容易报错。三、解压到安装目录 tar -zxvf kafka_2.11-0.10.2.1.tgz -C /root/myInstall/四、Kafka目录介绍 /bin 操作ka
2017-06-08 18:37:17 236
原创 kafka常用命令总结
kafka常用操作命令 1.启动Kafka,其中”>>/dev/null”表示将日志信息输出到”黑洞”,其中”2>&1”表示将错误信息和前面的日志信息一样,也输出到”黑洞”,末尾的”&”表示以后台方式启动kafka: bin/kafka-server-start.sh config/server.properties >>/dev/null 2>&1 &2.创建一个名为”test”的Topic:
2017-06-08 16:56:03 380
原创 flume-NG整合hdfs和kafka
flume版本:apache-flume-1.7.0-bin.tar hadoop版本:hadoop-2.7.3 kafka版本:kafka_2.11-0.10.2.1 zookeeper版本:zookeeper-3.4.6 最近在安装搭建flume和kafka这两款软件,网上有很多这方面的简介,在这里,我把flume—NG和kafka、hdfs整合在一起。flume作为消息采集和传
2017-06-08 15:35:22 1750
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人