![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 52
程裕强
开源是人类最大的公益事业!--程裕强
展开
-
Flink+Kafka:FlinkKafkaProducer简单样例
1、pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.o原创 2021-09-11 18:59:48 · 2115 阅读 · 0 评论 -
Flink+Kafka:FlinkKafkaConsumer简单样例
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/mav原创 2021-09-10 11:16:41 · 1832 阅读 · 0 评论 -
Kafka集群( 2.8.0版本)之四:Java简单实现生产者和消费者
1、pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/m原创 2021-09-06 22:13:40 · 1709 阅读 · 2 评论 -
Kafka集群( 2.8.0版本)之三:消费者组
1、启动两个消费者,属于同一个消费者组test[root@node2 kafka-2.8.0]# bin/kafka-console-consumer.sh --topic demo --bootstrap-server node1:9092 --group test[root@node3 kafka-2.8.0]# bin/kafka-console-consumer.sh --topic demo --bootstrap-server node1:9092 --group test[root原创 2021-09-06 15:00:41 · 345 阅读 · 0 评论 -
Kafka详细教程:下载、安装、配置与集群部署
[root@node1 ~]# wget http://mirror.bit.edu.cn/apache/kafka/0.11.0.1/kafka_2.11-0.11.0.1.tgz--2017-10-28 09:16:07-- http://mirror.bit.edu.cn/apache/kafka/0.11.0.1/kafka_2.11-0.11.0.1.tgzResolving mir原创 2017-10-28 21:52:56 · 828 阅读 · 0 评论 -
Kafka基本架构介绍
1、什么是消息系统?消息系统负责将数据从一个应用程序传输到另一个应用程序,因此应用程序可以专注于数据,但不担心如何共享它。 分布式消息传递基于可靠消息队列的概念。 消息在客户端应用程序和消息传递系统之间异步排队。 有两种类型的消息模式可用 - 一种是点对点,另一种是发布 - 订阅(pub-sub)消息系统。 大多数消息模式遵循 pub-sub 。(1)点对点消息系统 在点对点系统中,消息被保留在队原创 2017-10-29 11:20:29 · 8306 阅读 · 1 评论 -
Kafka日志配置
1、问题描述在server.properties中配置了log.dirs值,表示kafka数据的存放目录,而非Kafka的日志目录。[root@node1 kafka_2.11-1.0.1]# vi config/server.propertieslog.dirs=/data/kafkaKafka运行时日志默认输出到$KAFKA_HOME/logs目录下,容易撑爆分区,造成操作...原创 2018-04-24 13:51:41 · 28303 阅读 · 4 评论 -
Kafka集群(2.8.0版本)快速入门
参考官方文档,一步步执行https://kafka.apache.org/documentation/#quickstart(1)下载最新版Kafka[root@node1 app]# tar -zxvf kafka_2.13-2.8.0.tgz[root@node1 app]# mv kafka_2.13-2.8.0 kafka-2.8.0[root@node1 app]# cd kafka-2.8.0/(2)启动Kafka环境先启动内置的Zookeeper[root@node1 kaf原创 2021-09-04 22:58:43 · 447 阅读 · 0 评论 -
搭建Kafka集群( 2.8.0版本)之一
1、启动zookeeper集群Kafka最新版本2.8.0可以不依赖zookeeper,但是仍然测试阶段,所以官方不推荐使用,因此还是要使用zookeeper集群。[root@node1 ~]# zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /opt/zookeeper-3.4.10/bin/../conf/zoo.cfgStarting zookeeper ... STARTED[root@node1 ~]#[原创 2021-09-03 21:49:08 · 1255 阅读 · 0 评论 -
搭建Kafka集群( 2.8.0版本)之二
1、创建Topic(1)创建topic[root@node3 kafka-2.8.0]# bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 1 --topic testCreated topic test.[root@node3 kafka-2.8.0]#–zookeeper:为zk服务器地址,已逗号分割配置多个–replication-factor:分区leader原创 2021-09-05 20:50:19 · 507 阅读 · 1 评论