![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式日志收集
西木东林
这个作者很懒,什么都没留下…
展开
-
(九) elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集集群环境(终结版)
(八) elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集总结前八个博客讲到的都是单机版日志收集. es,kafak logstash 都是基于一台机子搭建的.最近跟公司又申请了一台机器用于搭建es和kafak以及logstash的集群.以保证高可用.首先搭建es集群..因为另一台机子使用了原有机器的镜像 ,所以凡是第一台机器上面搭建过的...原创 2020-03-19 21:35:19 · 641 阅读 · 0 评论 -
elasticsearch服务器定时自动清理日志索引
突然想到项目中每天要生产各个环境的索引...时间一长会越来越多.这里写一个定时自动清理elasticsearch的脚本首先.我们进入到elasticsearch的索引目录中去 发现索引数据是真多啊...root@iZbp1ig4nql7imcw4ssn7vZ:/home/idouall# cd /opt/elasticsearch-6.4.3/data/nodes/0/...原创 2020-02-27 17:17:42 · 1466 阅读 · 0 评论 -
(八) elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集总结
ELK+kafka实现分布式日志收集系统整体需要按照下面命令进行启动各个环境.(9) 后台启动elasticsearch 端口为9200外部通讯使用 9300节点间内部通讯使用 服务端浏览器地址为:http://101.37.32.7:9200/ nohup ./elasticsearch &g...原创 2020-02-27 14:28:55 · 408 阅读 · 0 评论 -
(七) elasticsearch手把手搭建生产环境ELK之logstash监控logback所有日志.
我们已经有了kafka记录请求和响应以及异常日志...但是对于项目中的一些打印日志我们想全部获取,可以利用logback输出到logstash中去.首先项目中集成logback的依赖 <!--Logback to elk--> <!-- https://mvnrepository.com/artifact/net.logstash.logback/logstash-...原创 2020-02-26 23:01:38 · 577 阅读 · 0 评论 -
(六) elasticsearch手把手搭建生产环境ELK加kafka实现终极版日志收集系统
前言: 上文elasticsearch手把手搭建生产环境日志收集系统ELK之kafka单实例搭建 已经将kafka在服务器搭建成功.现在开始通过代码进行kafka的集成. 上文说到简单的elk日志系统从服务器的日志文件角度来进行日志收集.虽然能够做到收集日志的效果,但是一旦服务器数量多了.那么维护起来就是十分麻烦的了.所以现在我们从根源获取日志.并通过kafka和logs...原创 2020-02-22 22:41:59 · 492 阅读 · 0 评论 -
(五) elasticsearch手把手搭建生产环境日志收集系统ELK之kafka单实例搭建
下载kafka链接:kafka我选用的版本为kafka_2.12-2.1.1 因为没有客户群,所以搭建的都是单实例的.后期有条件的话搭建集群.依然上传到/opt下然后解压tar -zxvfkafka_2.12-2.1.1.tgz然后在kafka目录下面新建logs文件夹进入kafka的 config目录vim server.properties...原创 2020-02-19 23:13:43 · 345 阅读 · 0 评论