一、认识flume
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
二、flume安装详情
下载地址:flume.apache.org
1、解压
tar -xvf apache-flume-1.6.0-bin.tar.gz -C /opt/module/
2、配置数据源
创建文件并编辑
touch template.conf
3、根据指定的配置文件,来启动flume
进入flume的bin目录
执行:
./flume-ng agent -n a1 -c ../conf -f ../conf/template.conf -Dflume.root.logger=INFO,console
运行成功:
4、通过nc来访问:
nc localhost 44444
hello fleum
通过外部http请求访问对应的ip和端口
比如:
查看端口:netstat -tnlp | grep :44444
http://192.168.1.101:44444/hello