ELK日志分析平台之kibana以及借助ELK平台实现网站访问量统计

kibana

Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。

Kibana让我们理解大量数据变得很容易。它简单、基于浏览器的接口使你能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘。安装Kibana非常快，你可以在几分钟之内安装和开始探索你的Elasticsearch索引数据，不需要写任何代码，没有其他基础软件依赖。

1.安装kibana：

[root@server6 ~]# rpm -ivh kibana-4.5.1-1.x86_64.rpm 
Preparing...                ########################################### [100%]
   1:kibana                 ########################################### [100%]

编辑配置文件：

[root@server6 ~]# cd /opt/kibana/config/
[root@server6 config]# vim kibana.yml 

设定：

 15 elasticsearch.url: "http://172.25.17.4:9200"
 23 kibana.index: ".kibana"

开启服务：

[root@server6 config]# /etc/init.d/kibana start
kibana started
[root@server6 config]# netstat -antlp |grep kibana
[root@server6 config]# netstat -antlp |grep 5601
tcp        0      0 0.0.0.0:5601                0.0.0.0:*                   LISTEN      2105/node         

浏览器中访问5601端口：

链接到[apache-]YYYY.MM.DD：

可以查看到apache的访问情况：

功能实现：将来自nginx的数据输出到redis端，redis交给elasticsearch，再由kibana进行显示

在server5端安装redis并开启服务：

[root@server5 ~]# tar zxf redis-3.0.6.tar.gz 
[root@server5 ~]# cd redis-3.0.6
[root@server5 redis-3.0.6]# yum install gcc -y
[root@server5 redis-3.0.6]# make
[root@server5 redis-3.0.6]# make install
[root@server5 redis-3.0.6]# cd utils/
[root@server5 utils]# ./install_server.sh 

server4端安装nginx：

[root@server4 ~]# rpm -ivh nginx-1.8.0-1.el6.ngx.x86_64.rpm 
warning: nginx-1.8.0-1.el6.ngx.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID 7bd9bf62: NOKEY
Preparing...                ########################################### [100%]
   1:nginx                  ########################################### [100%]
----------------------------------------------------------------------

Thanks for using nginx!

Please find the official documentation for nginx here:
* http://nginx.org/en/docs/

Commercial subscriptions for nginx are available on:
* http://nginx.com/products/

----------------------------------------------------------------------

复制文件：

[root@server4 ~]# cd -
/etc/logstash/conf.d
[root@server4 conf.d]# ls
aaa.conf  es.conf
[root@server4 conf.d]# cp aaa.conf nginx.conf

停掉apache开启nginx,并在浏览器中访问nginx使其生成访问日志:

[root@server4 conf.d]# /etc/init.d/httpd stop
Stopping httpd:                                            [  OK  ]
[root@server4 conf.d]# /etc/init.d/nginx start
Starting nginx:                                            [  OK  ]

给nginx日志权限：

[root@server4 conf.d]# chmod 644 /var/log/nginx/access.log 

编辑文件nginx.conf：

[root@server4 conf.d]# vim nginx.conf 

内容：

  1 input {
  2         file {
  3                 path => "/var/log/nginx/access.log"
  4                 start_position => "beginning"
  5         }
  6 }
  7 
  8 filter {
  9         grok {
 10                 match => { "message" => "%{COMBINEDAPACHELOG} %{QS:x_forwarded_for}"}
 11         }
 12 }
 13 
 14 output {
 15         redis  {
 16                 host => ["172.25.17.5"]
 17                 port => 6379
 18                 data_type=> "list"
 19                 key => "logstash:redis"
 20         }
 21         stdout {
 22                 codec => rubydebug
 23         }
 24 }

执行：

[root@server4 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/nginx.conf 

可以查看到刚才在浏览器中对nginx的访问记录：

在server5端安装logstash：

[root@server5 ~]# rpm -ivh logstash-2.3.3-1.noarch.rpm 
Preparing...                ########################################### [100%]
   1:logstash               ########################################### [100%]

编辑文件es.conf：

[root@server5 ~]# cd /etc/logstash/
[root@server5 logstash]# vim es.conf 

文件内容：

  1 input {
  2         redis  {
  3             host => ["172.25.17.5"]
  4                  port => 6379
  5                  data_type=> "list"
  6                  key => "logstash:redis"
  7          }
  8 
  9 }
 10 
 11 output {
 12         elasticsearch {
 13                 hosts => ["172.25.17.4"]
 14                 index => "nginx-%{+YYYY.MM.dd}"
 15         }
 16 }

执行：

[root@server5 logstash]# /opt/logstash/bin/logstash -f /etc/logstash/es.conf 

在浏览器中添加[nginx-]YYYY.MM.DD：

结果测试：大屏幕显示
添加访问量统计：

选择nginx:

访问量显示：

保存：

添加：

动态测试：

在其他服务器端访问：

[root@server5 ~]# ab -c 1 -n 900 http://172.25.17.4/index.html

结果显示：