ELK实践系列-测试环境环境搭建

ELK是三个开源工具ElasticSearch，Logstash，Kibana组合而成的软件栈，其中的核心是开源的分布式搜索引擎Elasticsearch，辅以Logstash灵活多样的日志收集，过滤，传送功能以及Kibana炫酷的前端展示面板，组合成一套可以媲美商业应用的解决方案。

下面是个典型的ELK架构方案；

看起来很简单，logstash像一把瑞士军刀，可以通过plugin的方式从多种渠道输入日志、内部深加工（filter），再输出到多种类型的目的地，这里我们送到Elasticsearch做索引和存储。 中间的Redis用作消息队列，使得架构的容错性更高，当ES故障或者下线维护的时候，日志可以缓存一段时间而不至于丢失。

本系列的博客只是简单的说明搭建ELK的方法，以及简单的列出了常用的应用场景，不涉及到Kafka等其他组件。

本篇内容主要涉及到ELK的环境搭建，其中Elasticsearch,Kibana安装在同一台机器上，Logstash安装到需要进行数据采集的节点上

1. 环境说明
   1. 硬件配置
      CPU：8*Intel Xeon E312xx  内存：8G  硬盘：300G
   2. 系统版本
      Ubuntu12.04
      
   3. 软件版本
      ELK，目前发展较快，版本之间的兼容性问题，是需要注意的
      Elasticsearch:elasticsearch-2.3.3
      Logstash:logstash-2.3.3
      Kibana:kibana-4.5.1
      JDK:1.8.0_45
2. 安装过程
   1. elsaticsearch
      1. 下载:https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/zip/elasticsearch/2.3.3/elasticsearch-2.3.3.zip
      2. 配置
         >>unzip elasticsearch-2.3.3.zip
         对于单节点的elasticsearch基本不需要配置，直接启动即可,但是为了方便对es节点的操作，可以安装head插件
         >>cd /opt/talas/elk/elasticsearch-2.3.3/bin
         >>./plugin -install mobz/elasticsearch-head
         
      3. 启动
         >>cd /opt/talas/elk/elasticsearch-2.3.3/bin
         >>nohup ./elasticsearch -Des.insecure.allow.root=true >/dev/null 2>&1 &
      4. 验证
         登陆http://IP:9200/_plugin/head/  如果安装成功，便可以看到管理页面
         
         
   2. logstash
      1. 下载：https://download.elastic.co/logstash/logstash/logstash-2.3.4.zip
      2. 配置
         >>unzip logstash-2.3.4.zip
         由于logstash的配置在不同的应用场景下会有不同的配置方式，所以此处不做详细介绍，后面两个章节会有详细描述
      3. 启动
         logstash 需要部署到需要采集数据的节点上
         >>cd  logstash-2.3.4
         >>nohup bin/logstash -f ../xconf/talas_logs.conf >/dev/null 2>&1 &
   3. kibana
      1. 下载：https://download.elastic.co/kibana/kibana/kibana-4.5.1-linux-x64.tar.gz
      2. 配置
         >>tar -xvf kibana-4.5.1-linux-x64.tar.gz
         >>cd kibana-4.5.1-linux-x64
         >>vi config/kibana.yml
         在配置文件中指定Elasticsearch的地址
         
         elasticsearch.url: "http://localhost:9200"
      3. 启动
         >>cd kibana-4.5.1-linux-x64
         >>nohup bin/kibana >/dev/null 2>&1 &
      4. 验证
         如果部署启动成功，可以登录http://IP:5601/ 进行使用