![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
西木东林
这个作者很懒,什么都没留下…
展开
-
(九) elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集集群环境(终结版)
(八) elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集总结前八个博客讲到的都是单机版日志收集. es,kafak logstash 都是基于一台机子搭建的.最近跟公司又申请了一台机器用于搭建es和kafak以及logstash的集群.以保证高可用.首先搭建es集群..因为另一台机子使用了原有机器的镜像 ,所以凡是第一台机器上面搭建过的...原创 2020-03-19 21:35:19 · 663 阅读 · 0 评论 -
(八) elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集总结
ELK+kafka实现分布式日志收集系统整体需要按照下面命令进行启动各个环境.(9) 后台启动elasticsearch 端口为9200外部通讯使用 9300节点间内部通讯使用 服务端浏览器地址为:http://101.37.32.7:9200/ nohup ./elasticsearch &g...原创 2020-02-27 14:28:55 · 419 阅读 · 0 评论 -
kafka和rocketMQ的应用场景对比
前言:公司采用了两种消息队列,一种是阿里云的rocketMQ,一种是kafka.分别用在了两种不同的场景.这里做个记录.rocketMQ使用场景:1.异步解耦:拿我们的项目举例,有一个场景,是需要pc端触发派单接口,然后发送给app端消息通知.此时要求能够做到每个app都能收到消息,但是又希望这个发送的过程尽量的短,也就是派单接口尽量快.那么这个派送的过程可以采用rocketM...原创 2020-02-25 14:51:15 · 1488 阅读 · 0 评论 -
(六) elasticsearch手把手搭建生产环境ELK加kafka实现终极版日志收集系统
前言: 上文elasticsearch手把手搭建生产环境日志收集系统ELK之kafka单实例搭建 已经将kafka在服务器搭建成功.现在开始通过代码进行kafka的集成. 上文说到简单的elk日志系统从服务器的日志文件角度来进行日志收集.虽然能够做到收集日志的效果,但是一旦服务器数量多了.那么维护起来就是十分麻烦的了.所以现在我们从根源获取日志.并通过kafka和logs...原创 2020-02-22 22:41:59 · 502 阅读 · 0 评论 -
(五) elasticsearch手把手搭建生产环境日志收集系统ELK之kafka单实例搭建
下载kafka链接:kafka我选用的版本为kafka_2.12-2.1.1 因为没有客户群,所以搭建的都是单实例的.后期有条件的话搭建集群.依然上传到/opt下然后解压tar -zxvfkafka_2.12-2.1.1.tgz然后在kafka目录下面新建logs文件夹进入kafka的 config目录vim server.properties...原创 2020-02-19 23:13:43 · 356 阅读 · 0 评论