kafka
文章平均质量分 51
.
qq_39783774
这个作者很懒,什么都没留下…
展开
-
kafka数据迁移
kafka默认只保存7天的数据1.在新节点上搭建kafka服务机器一原本有节点broker.id分别为1,2在机器而上新增节点broker.id为3,42.启动kafka服务3.查看需要移动的topics查看所有主题kafka-topics.sh --list --zookeeper 59.110.153.152:2181将topic写入新文件topics-to-move.json中,格式如下{“topics”: [{“topic”: “fortest1”},{“topic”: “f原创 2021-05-21 16:13:16 · 479 阅读 · 0 评论 -
Flume 对接 Kafka
1.配置 flume(flume-kafka.conf)#definea1.sources = r1 a1.sinks = k1a1.sinks = k1a1.channels = c1sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F -c +0 /opt/module/data/flume.log a1.s...原创 2020-01-08 16:06:37 · 97 阅读 · 0 评论 -
Kafka 基础架构
1)Producer :消息生产者,就是向 kafka broker 发消息的客户端;2)Consumer :消息消费者,向 kafka broker 取消息的客户端;3)Consumer Group (CG):消费者组,由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者...原创 2020-01-08 14:38:41 · 415 阅读 · 0 评论 -
Kafka 命令行操作
1. 查看当前服务器中的所有 topicbin/kafka-topics.sh --zookeeper localhost:2181 --list2. 创建 topicbin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 3 --partitions 1 -topic first 选项说...原创 2020-01-08 14:34:14 · 113 阅读 · 0 评论 -
kafka安装部署
1. 解压安装包 tar -zxvf kafka_2.11-0.11.0.0.tgz -C /data/2. 修改解压后的文件名称 mv kafka_2.11-0.11.0.0/ kafka 3. 在/data/kafka 目录下创建 logs 文件夹mkdir logs4. 修改配置文件cd config/ vi server.properties 输入以下内容: ...原创 2020-01-08 14:23:57 · 110 阅读 · 0 评论