安装步骤:
-
检查centos 是否安装jdk(建议1.8 或1.8以上)
-
上传Flume的安装包至虚拟机/home/software_package/。
-
解压 文件到/home/software。
tar -zxvf filename
在${FLUME_HOME}/job目录下,创建一个配置文件,名称可自定义,后缀文件也可以自定义,但建议按照source-sink.conf格式进行配置编写。如果只是一个模板,可如此命名:template.conf。 -
修改conf配置文件
-
如果是在生产环境中,建议单独的创建一个job目录
-
配置文件test-logger.conf内容如下:
# 配置agent a1的组件
a1.sources=r1
a1.channels=c1 (可以配置多个,以空格隔开,可自定义名称)
a1.sinks=s1 (可以配置多个,以空格隔开,可自定义名称)
# 描述/配置a1的r1
a1.sources.r1.type=netcat (source的类型)
a1.sources.r1.bind=localhost (绑定的主机名/ip,也可以使用0.0.0.0的方式)
a1.sources.r1.port=8888 (绑定的端口号,注意绑定时不能与系统中的其他端口冲突)
# 描述/配置a1的c1
a1.channels.c1.type=memory
# 描述/配置a1的s1
a1.sinks.s1.type=logger (sink的类型)
# 为channe绑定source和sink
a1.sources.r1.channels=c1 (source可以绑定多个通道)
a1.sinks.s1.channel=c1 (每一个sink只能绑定一个通道)
6.根据配置好的文件,启动Flume需要进入到flume的bin目录。
./flume-ng agent -n a1 -c ../conf -f ../job/test.logger.conf -Dflume.root.logger=INFO,console
参数 | 描述 |
---|---|
agent | 运行一个Flume的Agent |
-n | 表示agent组件的名字 |
-c | 表示配置文件所在目录 |
-f | 表示具体的配置文件 |
-Dproperty | 设置一个JAVA的固定属性值,常见的Dflume.root.logger=INFO,console |
- 出现如下图所示,则启动成功
- 开始测试:
因为在配置文件中写明,source采用netcat。如果系统中没有安装netcat的话,可以通
过yum或rpm的方式进行安装。
centos-6 : yum install -y nc
centos-7 : yum install -y nc
或
yum install -y nmap-netcat.x86_64
打开另一台设备远程登录启动flume的这台虚拟机
至此安装完成!!