KafKa
文章平均质量分 64
KafKa简介和实例
芝兰生于深谷
这个作者很懒,什么都没留下…
展开
-
KafKa安装启动(Windows)无需安装虚拟机
KafKa安装启动(Windows)无需安装虚拟机原创 2022-04-18 16:57:54 · 485 阅读 · 0 评论 -
Kafka快速入门(1)
Kafka快速入门(1)1、下载你可以登录Apache kafka 官方下载。https://kafka.apache.org/downloads.html2、入门为什么需要消息系统1.解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2.冗余 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保原创 2022-03-08 17:32:00 · 2058 阅读 · 0 评论 -
Linux自定义终端命令带多个参数(Kafka为例)
Linux自定义终端命令带多个参数(Kafka为例)1、问题 当我们遇到linux命令太长,这样输入命令效率十分的低下。就比如Kafka命令打开zookeeper命令bin/zookeeper-server-start.sh config/zookeeper.properties打开kafka服务命令bin/kafka-server-start.sh config/server.properties &创建一个主题(topic)bin/kafka-topics.sh --c原创 2022-03-02 14:20:47 · 1826 阅读 · 0 评论 -
Kafka集群搭建
Kafka集群搭建设置多个broker集群到目前,我们只是单一的运行一个broker,没什么意思。对于Kafka,一个broker仅仅只是一个集群的大小,所有让我们多设几个broker。首先为每个broker创建一个配置文件:> cp config/server.properties config/server-1.properties > cp config/server.properties config/server-2.properties现在编辑这些新建的文件,设置以下属原创 2022-02-28 15:57:43 · 122 阅读 · 0 评论 -
Kafka快速入门(1)
Kafka快速入门(1)1、下载你可以登录Apache kafka 官方下载。https://kafka.apache.org/downloads.html2、入门为什么需要消息系统1.解耦:允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2.冗余: 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据原创 2022-02-28 15:43:48 · 183 阅读 · 0 评论 -
kafka常用命令
kafka常用命令管理## 创建topic(4个分区,2个副本)bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test### kafka版本 >= 2.2bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --par原创 2022-02-28 14:09:10 · 252 阅读 · 0 评论 -
Kafka启动报错问题Java HotSpot(TM) 64-Bit Server VM warning INFO oscommit_memory(failed
Kafka启动报错问题Java HotSpot™ 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error=‘Cannot allocate memory’ (errno=12)报错问题:[root@xys kafka]# bin/kafka-server-start.sh config/server.properties &[1] 21122[root原创 2022-02-28 13:44:23 · 1925 阅读 · 0 评论 -
Kafka快速入门(2)
Kafka快速入门(2)kafka安装和启动kafka的背景知识已经讲了很多了,让我们现在开始实践吧,假设你现在没有Kafka和ZooKeeper环境。Step 1: 下载代码下载并且解压它。> tar -xzf kafka_2.13-3.1.0.tgz> cd kafka_2.13-3.1.0Step 2: 启动服务注意:你的本地环境必须安装有Java 8+。运行kafka需要使用Zookeeper,所以你需要先启动Zookeeper,如果你没有Zookeeper,你可原创 2022-02-28 10:03:04 · 851 阅读 · 0 评论