kafka、rocketmq(消息队列)
文章平均质量分 87
kafka、rocketmq(消息队列)
涂作权的博客
To do what I want to do!
展开
-
rocketmq安装,内存配置,各种命令说明,windows下安装,控制台工具
1修改内存大小以下只是设置实例:cd /home/bigdata/installed/rocketmq-all-4.2.0 (140机器)vim bin/runserver.sh (调整nameserver启动的内存,不调整此文件,可能导致无法启动。)JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m" vim bin/runbroker.sh原创 2021-05-12 19:19:20 · 4726 阅读 · 1 评论 -
Apache Kafka消息格式的演变(0.7.x~0.10.x)
用 Kafka 这么久,从来都没去了解 Kafka 消息的格式。今天特意去网上搜索了以下,发现这方面的资料真少,很多资料都是官方文档的翻译;而且 Kafka 消息支持压缩,对于压缩消息的格式的介绍更少。基于此,本文将以图文模式介绍 Kafka 0.7.x、0.8.x 以及 0.10.x 等版本 Message 格式,因为 Kafka 0.9.x 版本的消息格式和 0.8.x 一样,我就不单独介绍了。设计良好的消息格式应该很容易支持版本的升级,并且新版本消息格式兼容老版本消息格式。现在我们就来看看 Kafk转载 2021-05-10 00:52:22 · 288 阅读 · 0 评论 -
Kafka创建Topic时如何将分区放置到不同的Broker中
熟悉 Kafka 的同学肯定知道,每个主题有多个分区,每个分区会存在多个副本,本文今天要讨论的是这些副本是怎么样放置在 Kafka 集群的 Broker 中的。大家可能在网上看过这方面的知识,网上对这方面的知识是千变一律,都是如下说明的:为了更好的做负载均衡,Kafka尽量将所有的Partition均匀分配到整个集群上。Kafka分配Replica的算法如下:将所有存活的N个Brokers和待分配的Partition排序•将第i个Partition分配到第(i mod n)个Broker上,这个Pa转载 2021-05-10 00:42:11 · 1679 阅读 · 0 评论 -
Kafka分区分配策略(Partition Assignment Strategy)
问题用过 Kafka 的同学用过都知道,每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息,我们也可能会启动多个 Consumer 去消费,而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 里面的数据。我们又知道,Kafka 存在 Consumer Group 的概念,也就是 group.id 一样的 Consumer,这些 Consumer 属于同一个Consumer Group,组内的所有消费者协调在一起来消费订阅主题(subscrib转载 2021-05-10 00:37:10 · 1903 阅读 · 0 评论 -
Kafka 是如何保证数据可靠性和一致性
学过大数据的同学应该都知道 Kafka,它是分布式消息订阅系统,有非常好的横向扩展性,可实时存储海量数据,是流数据处理中间件的事实标准。本文将介绍 Kafka 是如何保证数据可靠性和一致性的。数据可靠性Kafka 作为一个商业级消息中间件,消息可靠性的重要性可想而知。本文从 Producter 往 Broker 发送消息、Topic 分区副本以及 Leader 选举几个角度介绍数据的可靠性。Topic 分区副本在 Kafka 0.8.0 之前,Kafka 是没有副本的概念的,那时候人们只会用 Kaf转载 2021-05-10 00:29:21 · 2201 阅读 · 0 评论 -
图文了解 Kafka 的副本复制机制
让分布式系统的操作变得简单,在某种程度上是一种艺术,通常这种实现都是从大量的实践中总结得到的。Apache Kafka 的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能,开发者们会回过头来重新思考简化复杂行为的方法。Apache Kafka 中一个更细微的功能是它的复制协议(replication protocol)。对于单个集群上不同大小的工作负载,调整 Kafka replication 以让它适用不同情况在今天来看是有点棘手的。使这点特别困难的挑战之一是如何防止副本从同步副本列转载 2021-05-10 00:21:02 · 583 阅读 · 0 评论 -
32 道常见的 Kafka 面试题
最近很多粉丝后台留言问了一些大数据的面试题,其中包括了大量的 Kafka、Spark等相关的问题,所以我特意抽出时间整理了一些大数据相关面试题,本文是 Kafka 面试相关问题,其他系列面试题后面会陆续整理,欢迎关注过往记忆大数据公众号。1、Kafka 都有哪些特点?高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。•可扩展性:kafka集群支持热扩展•转载 2021-05-10 00:12:53 · 22000 阅读 · 0 评论 -
mysql数据实时同步:Canal安装部署、kafka安装、zk安装、mysql安装、Canal Server+Canal Client HA,Canal+mysql+Kafka,相关验证(学习笔记)
目录Canal安装部署 1.1. 服务器准备 1.2. 设置主机名并配置hosts 1.3. 免密设置 1.4. 设置ntp时间 1.5. 关闭防火墙 1.6. 关闭selinux 1.7. 安装JDK 1.8. 安装zookeeper 1.9. 安装scala安装Kafka 2.1. 解压 2.2. 配置环境变量 2.3. 修改配置文件 2.4. 再次修改server.properties 2.5. 创建日志目录 2.6. Kafka集群启动与测试 2.7. topi原创 2021-01-04 01:31:25 · 4000 阅读 · 0 评论 -
Kafka 常见命令行 Version 2.1.0
Kafka CommandVersion 2.1.0kafka-consumer-groups.shkafka group消费者组:list$ ./kafka-consumer-groups.sh --bootstrap-server hadoop1:59092,hadoop2:59092,hadoop3:59092 --listtrajectoryGroupmyGroup消费者组:state$ ./kafka-consumer-groups.sh --bootstrap-server原创 2020-09-14 08:54:57 · 953 阅读 · 0 评论 -
最简单的kafka demo案例
1、kafka版本:kafka_2.11-1.0.12、配置pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"...转载 2019-02-27 11:52:27 · 22433 阅读 · 3 评论 -
rocketmq官网和其它资料
rocketmq官网:http://rocketmq.apache.org/rocketmq的其它项目https://github.com/apache/rocketmq-externals原创 2019-01-31 14:41:52 · 11225 阅读 · 0 评论 -
安装单机版RabitMQ,java操作rabitmq案例(来自同学给的资料,并做升级到最新版本修改,补充问题修改)
一、安装、常见操作1、安装环境yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel2、安装erlangwget http://erlang.org/download/otp_src_18.3.tar.gz#解压tar xvf otp_src_18.3.tar.gzcd otp_src_...原创 2018-08-08 14:03:48 · 840 阅读 · 3 评论 -
数据采集之解析Mysql的binlog日志发送至Kafka实时消费(转:https://blog.csdn.net/liguohuabigdata/article/details/79472777)
本文采用Maxwell来实现实时解析mysql的binlog日志发送至kafka1、开启mysql binlog 环境中mysql是docker容器,所以需要进入容器修改mysql配置. docker exec -it ef07dab4da9d bash 然后进入/etc/mysql/ 修改my.cnf 增加如下内容 server-id=1 ...转载 2018-06-28 17:46:15 · 1582 阅读 · 0 评论 -
RocketMq案例,生产者,消费者,消息订阅
1、RocketMq集群配置参考:http://blog.csdn.net/tototuzuoquan/article/details/78314572使用的rocketmq的ip等是上面博文提及的ip等内容2、创建RocketMq工程工程目录结构如下: 3、编写pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http原创 2017-10-24 01:59:47 · 12696 阅读 · 2 评论 -
自定义Flume拦截器,并将收集的日志存储到Kafka中(案例)
1.引入POM文件如果想调用Flume,需要引入flume相关的jar包依赖,jar包依赖如下:<dependencies> <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <versi原创 2017-06-25 13:45:28 · 3561 阅读 · 2 评论 -
Kafka中topic的Partition,Kafka为什么这么快,Consumer的负载均衡及consumerGroup的概念(来自学习笔记)
1.1. Kafka中topic的Partition 在Kafka文件存储中,同一个topic下有多个不同partition,每个partition为一个目录,partiton命名规则为topic名称+有序序号,第一个partiton序号从0开始,序号最大值为partitions数量减1。 每个partion(目录)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文转载 2017-06-18 20:10:17 · 11688 阅读 · 0 评论 -
Strom+Kafka + redis实时计算单词出现频率的案例
案例要实现的目标在Kafka的shell 客户端中输入内容,通过Storm实时去kafka中取数据并进行计算单词出现的次数,并且实时把这些数据信息存储到redis中。代码编写编写Pom文件,代码如下:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xm原创 2017-06-21 11:12:16 · 3840 阅读 · 0 评论 -
Kafka集群安装配置,kafka后台运行的方式,Kafka配置文件中的参数说明
1、Kafka集群部署1.1集群部署的基本流程下载安装包、解压安装包、修改配置文件、分发安装包、启动集群1.2集群部署的基础环境准备安装前的准备工作(zk集群已经部署完毕) 关闭防火墙 chkconfig iptables off && setenforce 0 创建用户groupadd kafka && useradd kafka && usermod -a -G kafka k原创 2017-06-18 13:26:08 · 8492 阅读 · 0 评论 -
Spark Streaming从Kafka中获取数据,并进行实时单词统计,统计URL出现的次数
1、创建Maven项目创建的过程参考:http://blog.csdn.net/tototuzuoquan/article/details/745713742、启动KafkaA:安装kafka集群:http://blog.csdn.net/tototuzuoquan/article/details/73430874 B:创建topic等:http://blog.csdn.net/tototuzuo原创 2017-07-13 23:57:23 · 6956 阅读 · 1 评论 -
关于消息队列的技术
1、ActiveMQ(消息中间件) 2、rocketmq(分布式消息中间件) 3、kafka(分布式消息队列) 4、MetaQ(分布式消息中间件) 5、HQueue(基于HBase的消息队列) 6、KiteQ(基于Go 的消息中间件) 7、ZeroMQ(基于消息队列的多线程网络库) 8、MemcacheQ(基于MemcacheDB 的消息队列)原创 2017-10-06 12:48:36 · 546 阅读 · 0 评论 -
rocketmq集群安装部署过程(4.0.0版本)、安装中的常见问题举例
本篇博文参考:http://www.cnblogs.com/quchunhui/p/7126868.html,然后按照自己的环境进行重新编写准备工作:下载rocketmq-all-4.0.0-incubating-bin-release.zip,下载地址:http://rocketmq.apache.org/dowloading/releases/ 环境:hadoop11,hadoop12,had原创 2017-10-22 23:44:43 · 7391 阅读 · 1 评论 -
RocketMQ与Kafka对比(18项差异)
转自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka (2015年前的对比比较结果)淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka转载 2017-10-24 01:08:50 · 657 阅读 · 0 评论 -
RocketMQ特性、专业术语(Producer,Producer Group,Consumer Group,Topic,Message,Tag,Broker,Name Server)等
RocketMQ 是什么Github 上关于 RocketMQ 的介绍:RcoketMQ 是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。具有以下特性:支持发布/订阅(Pub/Sub)和点对点(P2P)消息模型在一个队列中可靠的先进先出(FIFO)和严格的顺序传递支持拉(pull)和推(push)两种消息模式单一队列百万消息的堆积能力支持多种消息协议,如 JMS、MQTT 等转载 2017-10-24 02:01:20 · 20668 阅读 · 2 评论 -
必知必会的RocketMQ消息类型
普通消息普通消息也叫做无序消息,简单来说就是没有顺序的消息,producer 只管发送消息,consumer 只管接收消息,至于消息和消息之间的顺序并没有保证,可能先发送的消息先消费,也可能先发送的消息后消费。举个简单例子,producer 依次发送 order id 为 1、2、3 的消息到 broker,consumer 接到的消息顺序有可能是 1、2、3,也有可能是 2、1、3 等情况,转载 2017-10-24 02:05:57 · 3676 阅读 · 0 评论 -
Kafka是什么,JMS是什么,常见的类JMS消息服务器,为什么需要消息队列(来自学习笔记)
1、Kafka是什么 Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 Kafka是一个分布式消息队列:生产者、消费者的功能转载 2017-06-18 10:32:54 · 8224 阅读 · 0 评论 -
Kafka的producer案例,Kafka的consumer案例
1、编写一个Producer代码:package kafka;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;import java.util.Properties;/** * 代码说明 * * @author tuz原创 2017-06-18 19:58:51 · 1883 阅读 · 0 评论 -
Kafka整体结构图、Consumer与topic关系、Kafka消息分发、Consumer的负载均衡、Kafka文件存储机制、Kafka partition segment等(来自学习资料)
一、 课程介绍课程名称: Kafka技术增强 注:学习本课程请先学习Kafka基础 课程目标: 通过本模块的学习,能够掌握Kafka的负载均衡、Producer生产数据、Kafka文件存储机制、Kafka自定义partition 课程大纲: 1、 Kafka整体结构图 2、 Consumer与topic关系 3、 Kafka Producer消息分发原创 2017-06-18 22:25:44 · 18840 阅读 · 6 评论 -
查看当前服务器中的所有的topic,创建topic,删除topic,通过shell命令发送消息,通过shell消费消息,查看topic详情,对分区数进行修改
一、 Kafka常用操作命令 查看当前服务器中的所有topic[root@hadoop3 kafka]# bin/kafka-topics.sh --list --zookeeper hadoop11:2181[root@hadoop3 kafka]#信息写入到 创建topic[root@hadoop3 kafka]# bin/kafka-topics.sh --create --zook原创 2017-06-18 15:33:42 · 12813 阅读 · 0 评论