数据采集与预处理-flume的常用配置操作avro、exec、netcat

文章末尾附作业答案

第一次写，格式应该不会很规范，文章框架也不会太容易易于理解，蛮写蛮练吧，我想到哪就写到哪吧，写博客的原因是：想总结我在大数据预处理这门课所学到的知识，主要是以老师的习题为主，用来总结我完成任务点的时候所会遇到的问题，并切提出我可行的解决方案。也是第一次接触这门课，所以知识点也讲不清楚，但是我的操作步骤和遇到的问题，对于大家学习有一定参考价值

实验的四个任务总的来说：就是flume的常用配置操作，使用avro、exec、netcat等数据源方式，不同方式需要配置的属性不一样，但是都是对日志信息进行监听。

数据采集与预处理P87页

项目3：日志数据采集实践

先cd到 /usr/local/bin 

$ flume-ng version  查看flume 版本，确保flume有下载

然后你要确保java-version有成功配置

从三个配置文件里面看

我当时遇到的问题就是，flume-env.sh的jdk路径搞错了，

配置完要刷新环境变量。输入source ~/.bashrc 命令刷新环境 ，

一、开始natcat

按照 老师的脚本，在netcat_source.conf文件进行配置，

当时遇到的一个问题是hadoop冲突

直接重命名就行

然后运在usr/local/flume/bin flume-ng agent --conf /use/local/flume/conf --conf-file /usr/local/flume/conf/netcat_source.conf --name a1 -Dflume.root.logger=INFO,console

【后面称呼上面这个代码为一大串】

标红的地方要写自己的路径，自己的名字

容易出错的地方：1、Dflume，f是小写（课本上是错的）

2、INFO 后面是逗号（当时老师第一遍也出错了）

然后新终端发送请求

（使用这行代码）nc -l  localhost -p 44444

Hello

OK

当时课上的代码是Nacat local host 44444 ，但是我们本机无法运行，老师的电脑可以，所以我使用了上面那个自己的代码，我推测应该是版本不一样吧

二、开始avro

在目录conf下新建一个文件avro.conf,添加内容，按照老师脚本即可

然后运行然后运行一大串

2号终端 ~$  sudo sh -c ‘echo ’ “hello,wolrd” > /usr/local/flume/log.01’

3号终端

客户机  ~$  cd /usr/local/flume/bin

./flume-ng avro-client –conf conf -H localhost -p 44448 -F /usr/local/flume/log.00

[在1终端能看见 4141连接open]

三、开始Exec Source

$ sudo mkdir zhangsan

Cd zhangsan

Sudo   vim  log.01   wq

Cd ../conf

然后在/usr/local/flume/conf文件下

Sudo vim exec_tail.conf，进行配置编写，按照课本上来即可

-F的配置信息要修改成自己的

zhgangsan$  sudo for I in {1.100};do echo “exec tailSi” >> /usr/local/flume/zhangsan/log.01 c;echo $i;sleep 0.01;done

如果失败，则要写入sh脚本里面，然后运行sh脚本呢

sudo chown -hadoop:Hadoop

还得提升权限

还有一个任务是Syslogtcp，没时间做了，太懒了，下次有空再说吧，还要忙其他的事情呢，需要老师脚本和心得的可以私聊我（一般都不在），建议QQ3518117390（备注。博客啥的，讲一下缘由，要不然不加陌生人）

谨以此纪念我的大学生活，一路以来的成长。