基于Flume、Kafka、Spark的完整日志分析系统启动过程

这篇文章主要记录的日志分析系统相关软件的启动命令，有助于后面可以写自动化启动脚本

Hadoop

启动Hadoop和HDFS

$ start-dfs.sh
$ start-yarn.sh

Zookeeper

启动分布式协调服务Zookeeper，提供kafka的运行环境

$ zkServer.sh start zoo1.cfg
$ zkServer.sh start zoo2.cfg
$ zkServer.sh start zoo3.cfg

Nginx&Python3 Flask

提供靶机及web服务和web日志

$ sudo setenforce 0
$ systemctl start nginx
$ python3 ~/apps/xss_test_server.py

Flume & kafka

启动Flume采集日志，并用kafka测试日志流是否可以正常消费

$ ./bin/kafka-server-start.sh -daemon ./config/server-1.properties

$ ./bin/flume-ng agent --conf ./conf --conf-file ./conf/flume-log-conf.properties --name agent1 -Dflume.root.logger=INFO,console

$