![](https://img-blog.csdnimg.cn/66c9dde13e154bf7b7778d98c0f274eb.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
kafka专栏
文章平均质量分 85
记录学习&生产kafka 相关内容
叁木-Neil
这个作者很懒,什么都没留下…
展开
-
kafka消费者 confluent_kafka
python之kafka消费者——confluent-kafka一、版本二、需求概述一、版本kafka:2.5.0python:3.6.1confluent-kafka:1.5.0confluent-avro:1.5.0avro-python3:1.9.1二、需求概述前置条件:使用kafka connect 消费kafka 数据写入hive 表。前端会有一个写入状态表,告诉我们什么时候写完,但是遇到问题是,我们会拉取该状态表然后会立马启动一个处理程序去处理hive表的数据。...原创 2022-05-05 19:41:57 · 2895 阅读 · 0 评论 -
kafka生产者——java Api 分区发送
kafka生产者——java Api 分区发送一、简介二、生产者分区策略2.1 逻辑思考2.2 代码验证2.2.1 验证指定分区发送2.2.2 验证只指定key发送三、自定义分区器一、简介在生产者介绍阶段我们回顾了在数据发送时,可以有拦截器、序列化器、分区器三道处理。而这里就是介绍对应分区器的处理步骤。我们知道在kafka的每个topic中会分为多个partition,那为什么分多个partition呢?换个简单的理解如果我们把topic看做一张表,但是这张表由多个块组成,每个块则对应着每个partit原创 2022-03-31 19:47:00 · 2471 阅读 · 0 评论 -
kafka生产者——java Api 发送
kafka生产者——java Api使用一、环境简介二、同步发送API三、异步发送API3.1 普通异步发送3.1 带回调函数异步发送一、环境简介机器:13-inch, M1, 2020编码:IDEA环境:java1.8,kafka2.5kafka包:kafka-clients 2.5.0<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients -->原创 2022-03-29 06:53:28 · 1700 阅读 · 0 评论 -
kafka生产者——python Api发送
kafka生产者——python Api使用一、环境简介一、环境简介机器:13-inch, M1, 2020编码:pycharm环境:python3.8.10kafka包:pykafka (pip install pykafka)如果你也是以上的环境那么该案例对你有一定的参考意义!以下内容为参考:博主文章实践的内容...原创 2022-03-26 19:33:47 · 3813 阅读 · 0 评论 -
kafka生产者——简介
kafka——生产者简介一、生产者二、kafka 生产者发送流程三、生产者使用的一些参数简介前两节我们大致介绍了kafka以及kafka的命令行操作,所以不管我们把kafka作为存储平台还是消息队列,我们至少都需要一个生产者向其中发送消息,那么在kafka使用的时候针对生产者我们有怎样的诉求呢?而这些诉求我们该使用怎样的方式去解决?一、生产者生产者:故名思义就是产生内容的一方。那么作为生产内容的一方,我们应该保证我们的消息可靠!而在生产中我们则需要保证我们的数据不重复,有序,吞吐量提高等等…二原创 2022-03-24 21:26:08 · 1909 阅读 · 0 评论 -
kafka 命令行操作大全
kafka 命令行操作大全一、集群相关常用命令二、topic相关常用命令2.1 脚本&参数简介2.2 举例这里主要讲命令行操作,如何安装网上太多资料,所以这里就不再赘述了。一、集群相关常用命令# 启动zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties &# 停止zookeeperbin/zookeeper-server-stop.sh# 前台启动broker Ctrl + C 关闭bin/k原创 2022-03-23 22:31:00 · 3695 阅读 · 1 评论 -
kafka究竟是干嘛的?
kafka简介一、维基百科二、消息队列2.1 什么是消息队列2.2 发布/订阅消息队列三、kafka 简介一、维基百科维基百科kafka简介入口Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。此外,Kafka可以通过Kafka Connect连接到外部系统(用于数据输入/原创 2022-03-22 23:51:29 · 14168 阅读 · 5 评论