![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka学习
花生糖葫芦侠
我就是我不一样的我
展开
-
【精】Logstash+Filebeats+Elasticsearch实现数据抽取
文章参考:https://www.cnblogs.com/cjsblog/p/9459781.htmlLogstash介绍Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。集中、转换和存储你的数据Logstash是一个开源的服务器端数据处理管道,可以同时从多个数据源获取数据,并对其进行转换,然后将其发送到你最喜欢的“存储”。(当然,我们最喜欢的是Elasticsearch)输入..原创 2020-08-18 16:39:40 · 2579 阅读 · 0 评论 -
【精】Kafka单机版安装与测试
伪分布式中kafka中已经集成了zookeeper1.下载kafkakafka_2.11-0.10.0.12.解压kafkatar -zxvf kafka_2.11-0.10.0.1.tgz3.移动到下面文件夹/home/software/kafka_2.11-0.10.0.14.配置文件vi /etc/profileexport KAFKA_HOME=/home/so...原创 2019-01-11 16:57:53 · 183 阅读 · 0 评论 -
【精】Kafka集群版安装与测试
集群总览》》》准备好zk服务器》》》各台主机的broker.id设置成不同》》》在server.properties中加入zk地址》》》对log.dirs进行修改------------------------------------------------------------------1.准备三台机器一台机器:安装好Zookeeper三台机器:分别安装好ka...原创 2019-01-11 16:59:01 · 139 阅读 · 0 评论 -
【精】Kafka详解与梳理
1.kafka架构broker服务:一般情况下一台主机就一个broker服务,但是也可以一台主机多个broker服务,只要端口不一样,存储路径不一样就可以了【不推荐】zookeeper服务:管理broker集群、管理元数据producer生产者:发布消息-主题consumer消费者:消费消息consumer group:消费组,在同一个消费组中的消费者,对同一条消息,只能消费一次o...原创 2019-01-11 16:59:59 · 508 阅读 · 0 评论 -
【精】Kafka问题与解决
问题:1.域名解析失败vim /etc/hosts127.0.0.1 kafka2.模拟kafka挂掉kil -9 22789kafka-server-stop.sh3.修改broker.id失败需要同步修改meta.properties中的id4.没有删除topic(1)命令删除vi config/server.properties delete.topic.en...原创 2019-01-11 17:00:45 · 399 阅读 · 0 评论 -
【精】Kafka简单总结
1.kafka架构 生产者、消费者、zookeeper、broker、主题—>分区—>副本因子2.主题:创建、修改、删除3.分区:从主题下进行分区 单独的一个分区的消息是有序且不可修改 但是多个分区之间的数据是无序的消息怎么知道进入特定的分区?--消息的组成部分Key-value4.副本 副本因子数应当小于可用的broker数 le...原创 2019-01-11 17:02:29 · 140 阅读 · 0 评论