Flume的安装和配置

首先将压缩包放到虚拟机的/opt/install下

 然后解压

tar -zxf /opt/install/flume-ng-1.6.0-cdh5.14.0.tar.gz -C /opt/soft/

进入到soft文件夹下，改名字

mv ./解压后的文件 flume160

进入到flume下的conf文件夹 复制一份flume-env.sh

 修改flume-env.sh文件,修改22行和25行，其中22行是java路径,25行Xms2000m -Xmx2000m

中的2000m-2000m表示初始化运行内存为2G，最大运行内存为2G，这个可以根据自己的电脑配置进行修改，当然是越大越好

 在conf下创建文件夹KB15conf

mkdir KB15conf

 1、用netcat

 编写配置文件

a1.sources=r1
a1.channels=c1
a1.sinks=k1

a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=44444

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sinks.k1.type=logger

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

 安装3个包

yum install -y nc
yum install -y telnet-server
yum install -y telnet.*

 打开两个窗口输入这两个命令

 右边输入数据后，左边会收到

 2 file格式

 

 

 

 3.将读到的文件写入到hdfs

 

 开启hdfs文件系统

start-all.sh