关注
分享
文章平均质量分 75
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
LlinCK
持续学习，持续输出
展开
-
ELK 使用 Filebeat 收集日志
一、部署 filebeat10.0.0.37 安装 filebeatapt install -y openjdk-8-jdk# 将 filebeat-7.12.1-amd64.deb 软件包传到 /usr/local/src 目录下，并进行安装dpkg -i /usr/local/src/filebeat-7.12.1-amd64.deb二、修改 filebeat 配置文件默认filebeat配置文件详细说明grep -v "#" /etc/filebeat/filebeat.yml |原创 2021-09-01 23:14:01 · 643 阅读 · 0 评论 -
ELK 通过 Logstash 收集日志并写入 Kafak
一、Kafak 部署zookeeper 集群部署参考csdn连接：https://blog.csdn.net/qq_42606357/category_11241804.htmlkafka 集群部署参考csdn连接：https://linck.blog.csdn.net/article/details/119257228二、配置WEB服务器的日志写入kafkaroot@web1:/etc/logstash/conf.d# vim nginx-log-to-kafka.confinput { f原创 2021-08-29 22:07:36 · 348 阅读 · 1 评论 -
kafka 集群部署
部署环境：Server1:10.0.0.31Server2:10.0.0.32Server3:10.0.0.33一、下载二进制kafka包apt install -y apenjdk-8-jdkcd /usr/local/srcwget https://mirrors.bfsu.edu.cn/apache/kafka/2.7.1/kafka_2.13-2.7.1.tgztar xvf kafka_2.13-2.7.1.tgzln -sv /usr/local/src/kafka_2.13原创 2021-07-31 22:47:40 · 226 阅读 · 0 评论 -
kafka 基础概念
一、常用消息队列对比kafka 最主要的优势是其具备分布式功能、并可以结合 zookeeper 可以实现动态扩 容，Kafka 是一种高吞吐量的分布式发布订阅消息系统。二、kafka 优势kafka 通过 O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以 TB 的 消息存储也能够保持长时间的稳定性能。 查找10w的数据与查找100w的数据，消耗性能和时间一样。高吞吐量：即使是非常普通的硬件 Kafka 也可以支持每秒数百万的消息。一般用于日志收集。支持通过 Kafka 服务器分区消息原创 2021-07-30 01:13:10 · 535 阅读 · 1 评论