![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 86
皮皮冰燃
故障诊断、信号分析、大数据处理
展开
-
消息队列-1-RabbitMQ的原理及安装使用
参考消息队列之 RabbitMQ市面上的消息队列产品有很多,比如老牌的ActiveMQ、RabbitMQ ,目前最火的Kafka ,还有ZeroMQ ,去年底阿里巴巴捐赠给 Apache 的 RocketMQ ,连 redis 这样的 NoSQL 数据库也支持 MQ 功能。1 消息队列消息(Message)是指在应用间传送的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。消息队列(Message Queue)是一种应用间的通信方式,消息发送后可以立即返回,由消息系统来确原创 2022-07-30 17:14:21 · 324 阅读 · 0 评论 -
pulsar-3-对比pulsar和kafka
参考Pulsar到底能不能取代Kafka1 历史背景Pulsar是一款分布式发布/订阅消息平台,近两年非常火,被称为下一代的消息流平台,大有取代Kafka的势头。Pulsar源自Yahoo,于2016年开源并捐献给Apache基金会,并在2018年9月升级成为Apache顶级项目。Kafka最初由Linkedin开发,并于2010年贡献给了Apache基金会,之后成为Apache顶级项目。2 架构对比2.1 Kafka架构Kafka架构由broker和zookeeper组成。2.8.0 R原创 2021-07-01 16:34:03 · 441 阅读 · 0 评论 -
pulsar-2-python操作pulsar生产和消费数据
目前python的pulsar-client工具包仅支持linux。#pip3 install jupyter notebook#pip install --upgrade pip#pip3 install pulsar-client原创 2021-04-20 16:38:06 · 1888 阅读 · 0 评论 -
pulsar-1-单机模式standalone安装pulsar
1 Pulsar简介Apache Pulsar 是一个企业级的分布式消息系统,最初由 Yahoo 开发,在 2016 年开源,并于2018年9月毕业成为 Apache 基金会的顶级项目。Pulsar 已经在 Yahoo 的生产环境使用了三年多,主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa (Yahoo 的 KV 存储)。(1)pulsar和kafka最显而易见的区别是,pulsar支持多租户,有着资产和命名空间的概念原创 2021-04-16 16:41:42 · 3904 阅读 · 1 评论 -
kafka-13-windows中安装kafka
参考windows下安装kafka教程1 windows安装java2 windows安装zookeeperzookeeper官网地址2.1 解压安装使用一、下载下载zookeeper,选择自己需要的版本,并解压。从目前的最新版本3.5.5开始,带有bin名称的包才是我们想要的下载可以直接使用的里面有编译后的二进制的包,而之前的普通的tar.gz的包里面是只是源码的包无法直接使用。apache-zookeeper-3.7.0-bin.tar.gz二、解压可以看到我们下载的是.tar.gz原创 2022-04-20 20:13:00 · 4860 阅读 · 2 评论 -
kafka-12-Kafka消息时间戳kafka message timestamp
参考Kafka消息时间戳(kafka message timestamp)1 Kafka消息的时间戳在消息中增加了一个时间戳字段和时间戳类型。目前支持的时间戳类型有两种:CreateTime和LogAppendTime。前者表示producer创建这条消息的时间;后者表示broker接收到这条消息的时间(严格来说,是leader broker将这条消息写入到log的时间)。2 客户端消息格式的变化ProducerRecord:增加了timestamp字段,允许producer指定消息的时间戳,原创 2022-02-22 16:41:27 · 7843 阅读 · 0 评论 -
kafka-11-kafka的监控工具和常用配置参数
kafka常用配置参数原创 2023-02-19 17:03:00 · 1260 阅读 · 0 评论 -
kafka-10-集群同步MirrorMaker命令的使用
注:本文使用的Kafka版本是1 Kafka内置的MirrorMaker工具1.1 简介对于kafka数据的迁移使用kafka内置的MirrorMaker工具。MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。这种镜像的常见用例是在另一个数据中心提供副本。Kafka的镜像功能可以维护现有Kafka集群的副本。下图显示了如何使用MirrorMaker工具将源Kafka集群镜像到目标Kafka集群。该工具使用Kafka消费者来原创 2021-06-28 16:45:52 · 574 阅读 · 0 评论 -
kafka-9-python操作kafka及偏移量的处理
CMD>conda activate python36CMD>pip install kafka1 consumer.pyfrom kafka import KafkaConsumerglobal false, null, truefalse = null = true = ''consumer = KafkaConsumer(bootstrap_servers=['IP:9092'], auto_offset_reset='latest', group_id="group1")原创 2020-12-21 14:30:07 · 4259 阅读 · 0 评论 -
kafka-8-单节点kafka扩展至双节点集群
1 停止原有单节点kafka集群先停止kafka,再停止zookeepercd /usr/local/kafka./bin/kafka-server-stop.shzkServer.sh stop2 按单集群方式安装新节点软件zookeeper-3.4.8.tar.gz(2-1)install_zookeeper.sh#! /bin/bash## author:zb## date:2020.10.24## 需要提前定义好的信息myidvalue="1"hostname=`cat原创 2020-11-05 14:18:37 · 1380 阅读 · 1 评论 -
kafka-7-zookeeper集群安装和使用
1 zookeeper集群模式1.1 zookeeper集群安装在实际情况下,我们的zookeeper都会以集群的方式进行安装。ZooKeeper的集群模式下,多个Zookeeper服务器在工作前会选举出一个Leader,在接下来的工作中这个被选举出来的Leader死了,而剩下的Zookeeper服务器会知道这个Leader死掉了,在活着的Zookeeper集群中会继续选出一个Leader,选举出Leader的目的是为了可以在分布式的环境中保证数据的一致性。确认集群服务器的数量:由于ZooKeeper原创 2020-10-14 14:51:48 · 165 阅读 · 0 评论 -
kafka-6-python单线程操作kafka
python单线程操作kafka原创 2023-02-19 16:49:01 · 667 阅读 · 0 评论 -
kafka-5-常用命令和异常解决
常用命令和异常解决原创 2021-10-20 16:31:02 · 1995 阅读 · 0 评论 -
kafka-4-二节点集群安装kafka
1 版本控制kafka_2.12-2.2.0.tgzzookeeper-3.4.8.tar.gzjdk1.8.0_181centos 72 免密登录(1)查看系统中是否安装SSHdpkg -L ssh |grep ssh(2)安装SSHyum install -y openssh-server(3)测试SSH命令是否可用ssh localhost(4)设置SSH无密码登录cd ~/.sshssh-keygen -t rsa有提示,全部回车cat id_rsa.pub >&原创 2020-10-03 17:54:47 · 897 阅读 · 0 评论 -
kafka-3-kafka应用的核心要点和内外网访问
kafka应用的核心要点和内外网访问原创 2023-02-18 11:17:17 · 1682 阅读 · 0 评论 -
kafka-2-单节点集群安装kafka系统服务开机自启
kafka系统服务开机自启原创 2020-10-03 16:15:08 · 880 阅读 · 0 评论 -
kafka-1-消息中间件kafka的特性和由来
kafka的发展原创 2020-10-09 11:20:05 · 1214 阅读 · 0 评论