![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
码之道_Devin
加油
展开
-
kafka的Windows搭建及单机测试
安装zookeeper前提:使用zookeeper需要先安装jdk下载路径http://www.apache.org/dist/zookeeper/选择自己需要的版本,选择扩展名为.tar.gz的下载下载后直接解压即可找到目录中的conf文件夹将zoo_sample.cfg复制一份并将文件名改为zoo.cfng并修改配置文件中的以下属性dataDir=D:\zookeeper\...原创 2019-03-06 16:05:36 · 480 阅读 · 0 评论 -
kafka_2.11-0.10.0.1 window 作为生产者(producer) linux作为消费者(consumer) 连接成功(重点)
首先 更改linux 中 kafka 配置 具体如下 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190118093924607.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpb...原创 2019-01-18 10:44:44 · 548 阅读 · 0 评论 -
linux 单机环境 搭建 kafka
kafka 搭建环境官网下载jar 根据需求下载 我用下图标示版本在 opt 目录下 创建安装目录将 jar 导入 安装目录下ls 查看 是否存在jar tar -zvxf 解压解压完后 vim /etc/profile 配置 kafka启动zookeepernohup bin/zookeeper-server-start.sh config/zookeeper....原创 2019-01-11 16:28:18 · 237 阅读 · 0 评论 -
spring 整合kafka 详解
首先创建生产者(producer )项目在 pom.xml 中 导入对应的坐标 <!-- 这里只是关于kafka 的 --> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafk...原创 2019-03-07 20:47:17 · 1319 阅读 · 1 评论 -
zookeeper 在kafka 中的作用
1、Broker注册Broker是分布式部署并且相互之间相互独立,但是需要有一个注册系统能够将整个集群中的Broker管理起来,此时就使用到了Zookeeper。在Zookeeper上会有一个专门用来进行Broker服务器列表记录的节点:/brokers/ids每个Broker在启动时,都会到Zookeeper上进行注册,即到/brokers/ids下创建属于自己的节点,如/brokers/...原创 2019-03-12 10:23:17 · 442 阅读 · 0 评论 -
Kafka主从同步及leader&follower的理解
Kafka允许topic的分区拥有若干副本,这个数量是可以配置的,你可以为每个topci配置副本的数量。Kafka会自动在每个个副本上备份数据,所以当一个节点down掉时数据依然是可用的。Kafka的副本功能不是必须的,你可以配置只有一个副本,这样其实就相当于只有一份数据。创建副本的单位是topic的分区,每个分区都有一个leader和零或多个followers.所有的读写操作都由leader...原创 2019-03-13 16:08:27 · 9519 阅读 · 0 评论 -
rabbitmq 和kafka 对比
kafkakafka是apache开源的消息队列顶级项目之一,在大数据场景下使用较多,由linkedin开源,目前社区活跃,全球较多组织开始使用kafka来进行数据交换。rabbitmqRabbitMQ是流行的开源消息队列系统,用erlang语言开发。RabbitMQ是AMQP(高级消息队列协议)的标准实现。kafka和rabbitmq全面对比分析实际场景选择在实际生产应用中,通常会...原创 2019-03-13 16:38:01 · 538 阅读 · 0 评论 -
kafka 入门知识
Kafka基本概念解析BrokerKafka集群包含一个或多个服务器,这种服务器被称为broker。Topic每条发布到Kafka集群的消息都有一个类别,这个类别被称为topic。(物理上不同topic的消息分开存储,逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处)Partitionparition是物...原创 2019-03-13 16:39:13 · 409 阅读 · 0 评论 -
Zookeeper 简介
ZooKeeper 是一个开源的分布式协调服务,是 Google Chubby 的开源实现。分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。zookeeper的应用场景1. 配置管理这个好理解。分布式系统都有好多机器,比如我在搭建hadoop的HDFS的时候,需要在一个主机器上...原创 2019-03-13 17:07:12 · 515 阅读 · 0 评论