用flume将文件夹下的数据传入hive的数据库下的表

配置：hive2.3.3,flume1.6

 

1.首先解压配置好hive,flume的环境变量（/etc/profile）

2在/opt/flume/conf/flume-env.sh下加入

export JAVA_HOME=/usr/lib/java-1.8

JAVA-HOME的路径用命令echo $JAVA_HOME获取

3.将下两图中的jar包复制到flume/lib/,这些包在hive/lib和hive/hcatalog/share/hcatalog/,如果开始在flume/lib下有这些包则禁用（或删除）

 

 4.在flume/conf/my.conf中写入以下配置内容，my.conf为自己创建，并修改数据库，数据表名，表的字段名

 

5.启动集群start-all.sh，进入hive，创建数据库，数据表，

 

之后再输入如下两个命令

 

6.开启hive --service metastore &

7.开启flume-ng agent -n a1 -c conf -f /opt/flume/conf/my.conf

8.然后把需要传入的数据入/opt/flume/class.txt,，

在my.conf中的路径是哪就放在哪

9.现在可以查数据了