kafka
文章平均质量分 62
kafka
不死鸟.亚历山大.狼崽子
太极计算机股份有限公司系统架构师,从事ios、.net、flex、java等开发
展开
-
Kafka(7):生产者详解
4 接下来数据传到分区器,如果之间的 ProducerRecord 对象指定了分区,那么分区器将不再做任何事,直接把指定的分区返回;如果没有,那么分区器会根据 Key 来选择一个分区,选择好分区之后,生产者就知道该往哪个主题和分区发送记录了。1 首先要构造一个 ProducerRecord 对象,该对象可以声明主题Topic、分区Partition、键 Key以及值 Value,主题和值是必须要声明的,分区和键可以不用指定。会有一个独立的线程来把这些记录批次发送到相应的 Broker 上。原创 2023-02-23 12:52:48 · 376 阅读 · 0 评论 -
Kafka(6):服务端常用参数配置
监听列表,broker对外提供服务时绑定的IP和端口。多个以逗号隔开,如果监听器名称不是一个安全的协议, listener.security.protocol.map也必须设置。主机名称设置0.0.0.0绑定所有的接口,主机名称为空则绑定默认的接口。broker的唯一标识符,如果不配置则自动生成,建议配置且一定要保证集群中必须唯一,默认-1。服务器接受单个消息的最大大小,默认1000012 约等于976.6KB。日志数据存放的目录,如果没有配置则使用log.dir,建议此项配置。原创 2023-02-22 19:50:25 · 440 阅读 · 0 评论 -
Kafka(5):java简单程序示例
通过Java程序来进行Kafka收发消息的教学演示。原创 2023-02-22 19:40:41 · 67 阅读 · 0 评论 -
Kafka(4):Kafka集群环境搭建
集群是一种计算机系统, 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上,他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点,通常通过局域网连接,但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机,比如工作站或超级计算机性能价格比要高得多1 集群的特点集群拥有以下两个特点:1. 可扩展性:集群的性能不限制于单一的服务实体,新的服务实体可以动态的添加到集群,从而增...原创 2022-05-13 15:16:41 · 468 阅读 · 0 评论 -
Kafka(3):Kafka测试消息生产与消费
1 创建一个主题命令如下:2 展示所有主题3 查看主题详情4 生产端发送消息5原创 2022-05-13 13:51:48 · 753 阅读 · 0 评论 -
Kafka(2):Kafka环境搭建
1 java环境配置请参考我的另一篇博客:Linux(8):安装JDK_不死鸟.亚历山大.狼崽子的博客-CSDN博客2 zookeeper安装配置请参考我另外两篇博客,一篇为单机环境搭建,一篇为集群环境搭建ZooKeeper(1):Mac环境安装ZooKeeper_不死鸟.亚历山大.狼崽子的博客-CSDN博客ZooKeeper(3):ZooKeeper集群环境搭建_不死鸟.亚历山大.狼崽子的博客-CSDN博客_zookeeper集群连接3 kafka安装配置原创 2022-05-13 11:46:33 · 460 阅读 · 0 评论 -
Kafka(1):初识Kafka
Kafka最初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本并且基于ZooKeeper协调的分布式消息系统,现在已经捐献给了Apache基金会。目前Kafka已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流处理等多种特性而被广泛应用。Apache Kafka是一个分布式的发布-订阅消息系统,能够支撑海量数据的数据传递。在离线和实时的消息处理业务系统中,Kafka都有广泛的应用。Kafka将消息持久化到磁盘中,并对消息创建了备份保证了数据的安全。Kafka在保原创 2022-05-13 10:51:32 · 206 阅读 · 0 评论