2.日志数据生成及采集

日志的生成及采集

日志的生成

日志的生成使用官方包中提供的日志生成脚本 log-collector-1.0-SNAPSHOT-jar-with-dependencies.上传到hadoop101以及hadoop102。

日志的采集

日志的采集发生在hadoop101以及hadoop102。日志的采集使用脚本生产，flume读取日志，生产到kafka，继续由消费flume从kafka进行消费，最后写入的hdfs，为采集日志需要安装和配置以下软件，安装都只需要在对应的机器上解压即可，主要在于配置。

zookeeper

• 安装后在zookper的安装目录下建立zkData,并在zkData目录下建立myid文件，三台机器的myid需要配置不同，分别配置为101，102，103。myid的配置不同,leader也会不同
• 配置zookeeper安装目录/conf下的先赋值zoo.cfg.templete 为zoo.cfg,修改。再zoo.cfg下增加server.101=hadoop101:2888:3888,server.102=hadoop102:2888:3888,server.103=hadoop103:2888:3888。zookeeper再启动时会读取该值。