技术整理zookeeper+sqoop

需求：在window下通过flume采集douban.txt文件，将其保存到Linux的Hadoop上
1、解压flume的安装包：apache-flume-1.6.0-bin
(1)将conf下的flume-env.ps1.template文件，复制一份改为flume-env.ps1
(2)修改conf下的log4j.properties文件
改后的结果：

2、解压hadoop安装包：hadoop-2.6.5
(1)从安装包中找到如下jar包

(2)将这些jar包放到，flume解压文件的lib文件夹下
3、在window下配置hadoop的执行文件：
(1)
①主要使用的是文件夹下bin里面的内容
②
(2)然后将文件配置到环境变量中：
①HADOOP_HOME:文件夹的目录
②
(3)配置：flume的执行文件，例如：flume_hdfs.conf
①可以将文件放到 flume的conf文件夹下
②配置内容如下：（内容可以修改）
1)

2)或者是：

3)注意：第一个配置是每秒都在hdfs中创建一个文件，而第二个不会
4、Linux中hadoop的修改
(1)Hadoop中hdfs的/flume文件夹
(2)可以先在hadoop的hdfs中创建此文件夹
(3)在给此文件夹其他用户可以操作的权限，例如
①Hadoop fs -chmod 777 /flume
5、启动flume方式：
(1)在flume文件夹下的bin目录下