数据采集之用户行为日志采集

1.生产中的用户行为日志为前后端埋点产生，存在在日志服务器中， 在本项目中存储在hadoop102和hadoop103两台机器中。

2.同时进行日志采集的两台flume也分别在102和103的机器上，在flume组件的组件方面两台机器是一样的，使用的是
taildirSource(特点：支持断点续传)
kafkachannel 进行缓冲和聚合
另外还有一个ETL自定义拦截器负责数据清洗 通过fastjson 过滤脏数据
如果只是平常demo中一台flume就足够数据量不大
生产中数据量打，因为一台flume缓冲量不够，已启动可能oom
加个kafka进行缓冲，他是一个高吞吐量的消息中间件，并且后期如果接入实时需求
方便sparkStreaming接入kafka

3.通过flume传到kafka集群中，kafka中topic为topic_log

4.在hadoop104中的flume拿到kafka中的数据再往hdfs中上传
组件选型如下：
自定义timestamp拦截器（为了解决0点漂移问题）
零点漂移问题：前一天生成的数据，进到了我第二天的目录里面
零点漂移发生原因：如果我 6月14日23：59 有一条数据从日志服务器到第一层flume再到kafka再到第二层flume可能时间已经到了第二天了，这样6月14号的数据可能进进到6月15号的目录中了（flume用的是kafkasoucse，他会自动帮我们加一个时间戳KV，K=timestamp，V是当前服务器的系统时间）

kafkasource（从kafka中读取数据）
filechennel（基于磁盘）
hdfssink（需要上传到hdfs中）

流程描述
附脚本说明
lg.sh为模拟102、103机器日志生成脚本