日志分析可视化工具（lek）

logstash + elasticsearch + kibana

legend: logstash --》 redis --》 ElasticSearch
logstash包括两种工作方式：
standalone ： logstash on a single
logstash ---> elasticsearch ---> kibana
centralized： logstash with multiple servers
                |      client  |                                                 server                                                                   |                        
|________|_______________________________________________________________|
|logstash   |   |    redis  |          |   logstash      |          | elasticsearch     |         | kibana            |
|________|____|_______|_____|___________|_____|______________|____|____________|
|   shipper | --->  |             |          |                       |         |   |    |      |
|     ... | --->  |   broker| --->   | indexer          | --->   |storage & search|--->   |web interface   |
|   shipper | --->  |              |         |            |       |   |     |              |
|________|___  |_______|_____|___________|_____|______________|_____|___________|
此次测试采用standalone方式安装，
LEK安装：
测试机：192.168.70.31
需要java环境（java -version）
install JDK:
wget http://down1.chinaunix.net/distfiles/jdk-6u13-dlj-linux-i586.bin 
sh jdk-6u13-dlj-linux-i586.bin
配置环境变量：
vim /etc/profile
export JAVA_HOME=/usr/java 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
安装路径定义：
DIR = /root/lek/
1、安装elasticsearch
mkdir $DIR/elasticsearch
方式1：
cd elasticsearch
wget http://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.zip
unzip elasticsearch-0.90.5.zip
elasticsearch解压即可使用，启动方式：
cd elasticsearch-0.90.5
bin/elasticsearch -f
访问测试：
curl -X GET http://192.168.70.31:9200
方式2：（个人感觉这种方式方便一些）
rpm包的方式，rpm -ivh elasticsearch-0.90.9.noarch.rpm
/etc/init.d/elasticsearch start
3、安装logstash
mkdir $DIR/logstash
cd logstash
wget http://download.elasticsearch.org/logstash/logstash/logstash-1.2.1-flatjar.jar
logstash 下载即可使用，命令行参数可参考http://logstash.net/docs/1.2.1/flags
4、安装kibana
mkdir $DIR/kibana
cd kibana
wget http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip
unzip kibana-latest.zip | mv kibana-latest kibana
cp -r  kibana /var/www/html
访问地址：
http://192.168.70.31/kibana-latest/index.html
修改配置文件:
vim /var/www/html/kibana-latest/config.js
elasticsearch: "http://192.168.70.31:9200"  
增加中国地图：
将map.cn.js文件放在/var/www/html/kibana-latest/app/panels/map/lib/下
修改/var/www/html/kibana-latest/app/panels/map/editor.html
将['world','europe','usa']修改成['world','europe','usa','cn']即可
5、lek启动
5.1 创建logstash配置文件
cd logstash
vim simple.conf
input {
 file {
   type => "syslog"
   path => "/var/log/httpd/access_log"
 }
}
output {
 elasticsearch { 
 #embedded => true 
 host => "elasticsearch ip"
 }  
}
用这个配置文件启动logstash agent

ava -jar logstash-1.2.2-flatjar.jar agent -f simple.conf &

5.2 启动elasticsearch：

/etc/init.d/elasticsearch start

5.3 启动kibana

service httpd start

启动完成后就可以看到kibana页面了：

http://192.168.70.37/kibana/index.html