Fenggms的博客

kafkakafka是什么？消息队列的作用用户注册的最终一致kafka与传统消息系统的区别kafka与activeMQ的对比： kafka是什么？ Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。 该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 Ka...

kafka的架构模型 kafka架构是一个基于producer consumer topic broker 等的一个基本架构。 kafka的组件介绍 Topic ：消息根据Topic进行归类 Producer：发送消息者 Consumer：消息接受者 broker：每个kafka实例(server) Zookeeper：依赖集群保存meta信息。 Topics组件介绍 Topic：一类...

1、三台机器启动zookeeper bin/zkServer.sh start 2、下载并解压 下载kafka安装包 http://archive.apache.org/dist/kafka/ 最新版本为2.0，这里选择1.0.0版本进行安装测试。 上传压缩包并解压 上传压缩包到指定目录（这里先选择第一台设备node01），并进行解压 tar -zvxf kafka_2.11-1.0.0.t...

kafka命令行的使用 通过命令行来创建一个topic cd /export/servers/kafka_2.11-1.0.0/ bin/kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper node01:2181,node02:2181,node03:2181 kafka通...

server.properties的配置说明 #broker的全局唯一编号，不能重复 broker.id=0 #用来监听链接的端口，producer或consumer将在此端口建立连接 port=9092 #处理网络请求的线程数量 num.network.threads=3 #用来处理磁盘IO的线程数量 num.io.threads=8 #发送套接字的缓冲区大小 socket.send.b...

需求：实现flume监控某个目录下面的所有文件，然后将文件收集发送到kafka消息系统中 flume和kafka环境准备 另外，zookeeper也要启动。 配置flume的配置文件 配置flume.conf #set name for source channel sink a1.sources = r1 a1.channels = c1 a1.sinks = k1 #指定我们的source收...

生产者如何保证数据的不丢失 producer有丢数据的可能，但是可以通过配置保证消息的不丢失。 通过kafka的ack机制： 在kafka发送数据的时候，每次发送消息都会有一个确认反馈机制，确保消息正常的能够被收到。取值有1 0 -1 。 # 设置发送数据是否需要服务端的反馈,有三个值0,1,-1 # 0: producer不会等待broker发送ack # 1: 当leader接收到消息...

第一步:上传kafkaManager的压缩包将我们kafkaManager的压缩包上传到我们kafka集群的任意一台机器即可 unzip kafka-manager-1.3.3.7.zip -d /export/servers/ 第二步:修改kafkaManager的配置文件 vim application.conf #更改一配置文件 kafka-manager.zkhosts,修改为我们的...