flume-NG采用syslogtcp方式监听端口

一、采集说明 本采集方式使用socket通信的方式,向flume发送数据进行采集,采集后的数据存储到hdfs和kafka。 二、配置文件 1、source采集层 port.properties# set agent name agent.sources = r1 agent.cha...

2017-07-19 18:35:47

阅读数 1786

评论数 0

kafka集群安装

一、环境配置 jdk版本:jdk1.8.0_111 scala版本:2.11.8 kafka版本:kafka_2.11-0.10.2.1 二、kafka下载 kafka下载地址 注意:要选择对应的scala版本,否则容易报错。三、解压到安装目录 tar -zxvf kafka_2.11-0....

2017-06-08 18:37:17

阅读数 103

评论数 0

kafka常用命令总结

kafka常用操作命令 1.启动Kafka,其中”>>/dev/null”表示将日志信息输出到”黑洞”,其中”2>&1”表示将错误信息和前面的日志信息一样,也输出到”黑洞”,末尾的”&”表示以后台方式启动kafka: bin/kafka-server-star...

2017-06-08 16:56:03

阅读数 124

评论数 0

flume-NG整合hdfs和kafka

flume版本:apache-flume-1.7.0-bin.tar hadoop版本:hadoop-2.7.3 kafka版本:kafka_2.11-0.10.2.1 zookeeper版本:zookeeper-3.4.6 最近在安装搭建flume和kafka这两款软件,网上有很...

2017-06-08 15:35:22

阅读数 1228

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭