LogStash 与 ElastaticSearch(二)

最新推荐文章于 2024-03-02 21:37:41 发布

帅气的程序员

最新推荐文章于 2024-03-02 21:37:41 发布

阅读量610

点赞数

分类专栏：大数据-ELK 文章标签： logstash

本文链接：https://blog.csdn.net/hr787753/article/details/79087240

版权

大数据-ELK 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

插一句嘴，我的毕业设计那个B/S架构的电商网站真的是用处太大了，
先说我的点击流用了毕业设计嵌入了js埋点，做了hive的数据分析，这次日志录入ElasticSearch我的毕设又充当了应用层产生日志

日志存放目录是：/var/logs/e_mall.log
我的日志是daily的每日产生一个
诸如：e_mall.log.2017-12-12 e_mall.log.2018-1-3 这样

废话不多说赶紧上正事
由于我还没有深入学习拦截器所以此次只用了输入插件file 和输出插件ElasticSearch 接下来会开一篇深入学习filter

我的配置文件：

input {
    file {
    path => "/var/logs/*.log"
    }
}

output{
  elasticsearch {
       hosts => ["192.168.90.*","192.168.90.*","192.168.90.*"]
       index => "e_mall-%{+YYYY-MM-dd}"

   }
}

上面的配置是最简化的配置具体参数配置参考官网即可。

当然我见过的 logstash-》ElasticSearch
其中还有Redis集群 Redis作为消息队列作为过渡。
由于部署在业务服务器上的logstash 不能影响生产业务的正常执行所以建议不要直接对接ElasticSearch分析服务器最好中间加消息队列即
logstash->Redis集群->logstash->ElasticSearch集群

我简化了操作不过按照生产应该这么配置。

配置完成后：
启动logstash

./bin/logstash -f index.conf

其中 index.conf 为我的配置文件

[2018-01-17T16:43:26,983][INFO ][logstash.outputs.elasticsearch] New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["//192.168.90.42", "//192.168.90.43", "//192.168.90.44"]}
[2018-01-17T16:43:26,986][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>250}
[2018-01-17T16:43:27,220][INFO ][logstash.pipeline        ] Pipeline main started
[2018-01-17T16:43:27,290][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}