日志监控平台搭建 关于flume Kafka Elk

最近需要搭建一套日志监控平台,参考了新浪与美团的一些东西.现在实录一下搭建与优化调整的过程

目前把这几件放在一起的文档还不够多,其中相当一部分因为elk的升级配置也已经不能用了,更多的是单机版的配置,完全没有参考性.

优化的部分将等待项目与新平台正式上线在另一篇文章写出

拓扑图

软硬件配置

• 本机 ubuntu 14.04
• 线上 centos 6.5

host	本地搭建	线上环境
c1	1core 1g	4core 8g
c2	1core 1g	4core 8g
c3	1core 1g	4core 8g
c4	2core 4g	8core 32g
c5	2core 4g	4core 32g

c1	c2	c3	c4	c5
jdk+scala+zk+kafka	同左	同左	jdk+es+logstash+kibana	jdk+es

搭建

basic

新机器修改root密码sudo passwd

创建用户

useradd cluster
passwd cluster
chmod +w /etc/sudoers
vim  /etc/sudoers
cluster ALL=(root)NOPASSWD:ALL 
chmod -w /etc/sudoers
mkdir /home/cluster
mkdir /home/stack
chmod 777 /home/cluster
chmod 777 /home/stack

以上部分/home/stack用于存储所需所有tar.gz包

/home/cluster作为所有软件的安装目录

而后创建cluster目录下data目录,用于存放各组件配置,日志,数据

scp推荐工具ZOC7

同步各个机器的hosts

127.0.0.1 localhost 
10.1.12.25 c1
10.1.12.23 c2
10.1.12.24 c3
10.1.12.27 c4
10.1.12.28 c5

分发各机器的rsa公钥

ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 700 ~/.ssh/authorized_keys 
chmod 600 -R ~/.ssh/

各机器profile设置

tar -zxvf 
sudo vim /etc/profile
export JAVA_HOME=/home/cluster/jdk
export ZK_HOME=/home/cluster/zookeeper
<