快速用ELK搭建日志收集平台

 

elasitc.co

 

ELK是elastic.co发布的三个产品，分别是elasticsearch, logstash, kibana，分别用来做搜索引擎、日志收集和报表展现。这三个东西经常被用到的业务场景就是日志收集展现。
本文将从实用角度出发，教你如何用ELK快速搭建一个日志收集平台。

elasticsearch

• 运行elasticsearch
  ./bin/elasticsearch -d

• 测试运行状态

  curl localhost:9200
  

• 创建索引

  elasticsearch里面的表叫做索引（index），可以通过http请求的方式来创建索引，创建的方式是通过put请求，curl脚本如下：

  curl -X PUT \
    http://localhost:9200/test1 \
    -H 'cache-control: no-cache' \
    -H 'postman-token: 438a164f-2ded-b73e-b2ab-e53dbd7f800c' \
    -d '{
      "settings" : {
          "index" : {
              "number_of_shards" : 3, 
              "number_of_replicas" : 2 
          }
      }
  }'
  

• 常见问题

  • 启动失败

ERROR: bootstrap checks failed
      max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

这个问题是操作系统的vm.max_map_count参数设置太小导致的，解决方法：

      $ sudo sysctl -w vm.max_map_count=262144
      vm.max_map_count = 262144

logstash

• 运行logstash

  ./bin/logstash -e 'input { stdin {} } output {stdout{}}'
  

  如果运行正常，则输入hello的运行结果如下：

  hello
  2017-06-21T10:12:40.471Z MacBook-Pro.local hello
  

  一般我们都是将配置写到配置文件，用-f参数来运行，如：

  ./bin/logstash -f test.config
  

  其中test.config里面包含的内容就是之前-e参数所指向的运行参数。

• 搭建http接口和json格式化

  logstash配置文件由三个部分组成，上面已经提到了input和output两个部分，另外还有一个是filter，分别代表输入->过滤->输出，现在我们配置一个http输入、通过json格式化、输出到elasticsearch的logstash配置，配置文件内容如下：

  dengzongrongdeMacBook-Pro:logstash-5.4.2 RoyDeng$ cat test.config
  input {
            http {
                  port => 31311
                  type => "http"
                  codec => "json"
            }
  }
  
  filter {
          json {
                  source => "message"
          }
  }
  
  output {
            elasticsearch {
                hosts => "localhost"
                index => "test"
            }
  }
  

  通过post请求，可以看到elasticsearch里面增加了数据，post请求如下：

  curl -X POST \
    http://localhost:31311/ \
    -H 'cache-control: no-cache' \
    -H 'postman-token: 888428ef-ee19-1030-9de4-6c4b333e4bca' \
    -d '{"action":"test"}'
  

Kibana

• 配置运行kibana

  下载kibana

  修改config/kibana.yml配置文件，修改elastic search url，如下：

  # The URL of the Elasticsearch instance to use for all your queries.
  elasticsearch.url: "http://localhost:9200"
  

  然后运行./bin/kibana启动kibana

• 配置报表

kibana_config.png

上面显示的Time-field表示日志的时间，这个参数是必须的，因为kibana展现的一个重要维度就是时间，你上传的数据必须有一个字段代表时间。
当然，如果你是用logstash上传的数据，那么这个字段不需要你配置，logstash会自动帮你加上，但是logstash帮你加的时间是上传的时间。如果你不是希望用上传时间作为时间维度的话，这个字段就需要你上传的时候自己加上了。

然后在首页就能看到刚刚上传上去的数据了

kibana-dashboard.png

以上就是快速搭建日志平台的方法，后续会陆续补充ELK框架的一些高级用法，欢迎大家一起讨论。
关注我的公众号，学习更多