将hive的数据采集到flume

1.开启hadoop和hive

2.编写文件（vi hivelog_flume_hdfs.conf）

#a1表示agent的编号，因为agent可以有多个
##source 表示数据源，因为数据源的种类有很多 比如nc的数据源 hive的数据源 mysql的数据源。
##但由于本案例中设定的数据源只有一个为hive的数据源 所以将这条数据源的名称命名为r1
#
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#
##对source（源）进行配置
##当前对hive的日志的采集，使用的source源为exec
##exec：支持linux命令，通过命令tail -F 的方式，监听指定的文件，它可以实时的将消息进行传输，但是它是不安全的，电脑的重启或宕机，都会使用继续监听到的的
消息丢失，在测试环境中使用
#
##表示a1的输入源类型为exec
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /tmp/root/hive.log
a1.source.r1.shell = /bin/bash -c
#
##对channel进行配置
##当前使用memorychannel，它是内存中的队列 再不需要关心数据丢失的情况下使用。特点是传输速度块，缺点是当程序关闭，或者机器宕机的情况下都会导致数据丢失>。
a1.channels.c1.type=memory
##capacity表示channel的容量
a1.channels.c1.capacity = 1000
##表示收集到100条数据时再去提交事务
a1.channels.c1.transactionCapacity = 100
#
##配置sink
a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path= hdfs://master:8020/大数据2301班
#
##将source channel 和sink进行连接
a1.sources.r1.channels=c1
a1.sinks.k1.channel =c1

3.开启hdfs的UI界面，查看是否有文件夹