kafka
kafka消息中间件相关知识
GC-757
print("hello world")
展开
-
python3 kafka生产者代码的实现
codeimport jsonfrom confluent_kafka import Producerimport argparseimport timeDOC = { "time": "2019-07-02 00:00:00", # 必填,发生时间 %Y-%m-%d %H:%M:%S "institution_code": "C1010511003703", # 必填,机构代码,14位金融机构编码,见8.1章节 "institution_short": "xx银行原创 2021-06-21 09:43:56 · 209 阅读 · 0 评论 -
python3 kafka 消费者代码的实现
codeimport jsonimport argparseimport loggingfrom confluent_kafka import Consumer, KafkaErrorlogger = logging.getLogger()CONSUMER = Nonedef stats_cb(stats_json_str): stats_json = json.loads(stats_json_str) print(f'consumer stats: {stats_js原创 2021-06-21 09:40:32 · 296 阅读 · 0 评论 -
docker安装kafka
1、kafka需要zookeeper管理,所以需要先安装zookeeper。下载zookeeper镜像$ docker pull wurstmeister/zookeeper2、启动镜像生成容器$ docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name zookeeper -p 2181:2181 -v /etc/localtime:/e原创 2021-04-19 15:32:32 · 89 阅读 · 0 评论 -
Kafka相关面试题及答案
Kafka相关面试题及答案Kafka中的ISR、AR又代表什么?ISR:与leader保持同步的follower集合AR:分区的所有副本Kafka中的HW、LEO等分别代表什么?LEO:没个副本的最后条消息的offsetHW:一个分区中所有副本最小的offsetKafka中是怎么体现消息顺序性的?每个分区内,每条消息都有一个offset,故只能保证分区内有序。Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?拦截器 -> 序列化器 -> 分区器Ka原创 2021-03-08 23:13:06 · 4278 阅读 · 0 评论 -
Kafka监控(Kafka Eagle)
1)修改kafka启动命令修改kafka-server-start.sh命令中if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi为if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxG原创 2021-03-08 23:08:15 · 4381 阅读 · 0 评论 -
Kafka架构深入
Kafka架构深入Kafka工作流程及文件存储机制Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端,且每条数据都有自己的offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个offset,以便出错恢复时,从上次的位置继续消费。ka原创 2021-03-08 23:06:32 · 4192 阅读 · 0 评论 -
Kafka快速入门(安装部署)
Kafka快速入门安装部署集群规划hadoop102 - hadoop103 - hadoop104zk - zk - zkkafka - kafka- kafkajar包下载http://kafka.apache.org/downloads集群部署1)解压安装包[atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/2)修改解压后的文件名称[atguigu@hadoop102 modu原创 2021-03-08 22:42:40 · 4280 阅读 · 0 评论 -
Kafka概述
Kafka概述传统消息队列的应用场景mq传统应用场景之异常处理消息队列的两种模式点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者,但是对一个消息而言,只会有一个消费者可以消费。发布/订阅模式(一对多,消费者消费数据之后不会清除消息)消息生产者(发布)将消息发布到topic中,同时有多个消原创 2021-03-08 22:36:32 · 4289 阅读 · 1 评论