dsg_12 Kafka

最新推荐文章于 2023-12-29 14:40:46 发布
最新推荐文章于 2023-12-29 14:40:46 发布
阅读量496 收藏
点赞数
分类专栏： java-消息中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34191426/article/details/109397918
版权

kafka

JMS

在java中存在这样一个机制，java message service（java消息服务）简称JMS，他是用于异构系统之前的通信。JMS里面有一个中间件middleware，位于生产者与消费者中间，能够实现低耦合（生产者与消费者两种不同系统之间不需要交互，只需要与中间件进行通信即可），实现异步消息发送（生产者发送消息时，消费可以不需要在线，等上线后再接收），middleware有两种存储机制：

  • queue队列（队列中的消息只能被一个消费者消费）P2P模式
  • topic主题（消息会给每个消费者发送一个副本）发布订阅模式

kafka

kafka的介绍

kafka也是一个消息中间件系统，它是分布式的，kafka将队列和主题模式统一起来，kafka全是主题模式，没有队列，它将消息副本发送给所有的消费者分组，在同一组里面只能有一个消费者可以消费到数据。kafka需要借助zk来搭建集群。
kafka是分布式流（流指像水流一样源源不断，实时处理）处理平台，在系统之间构建实时数据流管道，以topic分类对记录进行存储，每个记录包含key-value+timestamp，每秒钟可高达百万消息吞吐量。

kafka的术语
  • producer                     消息生产者
  • consumer                    消息消费者
  • consumer group          消费者组
  • kafka server                 broker,kafka服务器
  • topic                             主题,副本数,分区.
kafka的安装
  1. 安装jdk
  2. 安装zk
  3. 下载kafka_2.12-1.1.0.tar.gz，并上传到服务器，tar开，分发到三台主机
  4. 配置环境变量
    	export KAFKA_HOME=/soft/kafka_2.12-1.1.0
	export PATH=$PATH:$KAFKA_HOME/bin
  5. 配置配置文件/kafka_2.12-1.1.0/config/server.properties（注意：最好先复制一个做个备份，以防配置失败）标记序号的是需要配置的，其他默认即可
    	############################# Server Basics #############################
	#1. 配置id，必须保证id在集群中是唯一的
	broker.id=100
	
	############################# Socket Server Settings #############################
	#2. 放开监听端口即可
	listeners=PLAINTEXT://:9092
	
	#如果你的环境有外网映射，那么你还需要下面这行属性，外网映射服务加端口
	#advertised.listeners=PLAINTEXT://x.x.x.x:9092
	
	#处理网络请求的线程数
	num.network.threads=3
	#处理磁盘IO的线程
	num.io.threads=8
	#发送缓冲区
	socket.send.buffer.bytes=102400
	#接收缓冲区
	socket.receive.buffer.bytes=102400
	socket.request.max.bytes=104857600
	############################# Log Basics #############################
	# 3. 设置kafka日志存放目录
	log.dirs=/home/kafka-logs
	#默认分区个数
	num.partitions=1
	#日志恢复的线程个数
	num.recovery.threads.per.data.dir=1
	############################# Internal Topic Settings  #############################
	
	offsets.topic.replication.factor=1
	transaction.state.log.replication.factor=1
	transaction.state.log.min.isr=1
	############################# Log Retention Policy #############################
	#控制日志保留时间，168小时，7天
	log.retention.hours=168
	#日志文件最多保留1G
	log.segment.bytes=1073741824
	#日志检查周期，5分钟检查一次
	log.retention.check.interval.ms=300000
	############################# Zookeeper #############################
	#4. 配置zk集群的地址
	zookeeper.connect=Centos100:2181,Centos101:2181,Centos102:2181
	#配置zk连接超时时间
	zookeeper.connection.timeout.ms=6000
	############################# Group Coordinator Settings #############################
	group.initial.rebalance.delay.ms=0
  6. 分发配置，并修改id，保证id唯一
  7. 启动
    	#先启动zk
	zkServer.sh start
	#启动kafka，-daemon是将kafka作为守护线程，放到后台运行
	kafka-server-start.sh [-daemon] /soft/kafka_2.12-1.1.0/config/server.properties
	#验证启动是否成功
	netstat -anop|grep 9092
  8. 创建主题
    #连接zk服务器Centos100:2181，创建副本数是3，分区数为3的主题test1，注意副本数必须小于等于服务器节点数
kafka-topics.sh --create --zookeeper Centos100:2181,Centos101:2181,Centos102:2181 --replication-factor 3 --partitions 3 --topic test1

#查看主题
kafka-topics.sh --list --zookeeper Centos100:2181,Centos101:2181,Centos102:2181
  9. 模拟生产者和消费者
    #创建生产者，连接topic为test1的主题，注意：生产者不连接zk
kafka-console-producer.sh --broker-list Centos100:9092,Centos101:9092,Centos102:9092 --topic test1
#创建消费者，连接topic为test1的主题，从头开始消费，消费者连接zk
kafka-console-consumer.sh --zookeeper Centos100:2181,Centos101:2181,Centos102:2181 --topic test1 --from-beginning

kafka在ZK中的体现

根目录下：

  • /controller 用于存放控制器的地方，一个kafka集群只会推选出一个控制器（该目录只有在kafka启动的时候才会生成）
  • /brokers
    • /brokers/ids 用于存放kafka集群中服务器id的地方，每一个id目录下面都包含了它的连接信息
    • /brokers/topics 用于存放kafka主题的地方，每一个主题下面还有分区，并且记录的分区下的所有副本分别在哪台服务器上，并且记录了副本的leader（领导者）在哪台服务器上
  • /admin/delete_topics 记录被删除的主题
  • /consumers 记录消费者组和消费者组消费的topic以及偏移量，只有消费者在线消费才能看到，消费者下线会自动注销

注意： 生产者不在zk中注册，所以生产者不连接zk，消费者要连接zk，kafka中并没有提供完全删除主题的功能，如果想完全删除，可以去zk中删除topic的相关文件

手动平衡kafka分区和副本

	#创建topic名为test2，指定3个分区，每个分区3个副本，每个副本分别在100,101,102主机上，这样就可以均匀实现分区的平衡
	kafka-topics.sh --create --zookeeper Centos100:2181,Centos101:2181,Centos102:2181 --topic test2 --replica-assignment 100:101:102,100:101:102,100:101:102

创建完毕我们可以到我们指定的kafka日志目录下查看：
在这里插入图片描述
我们还可以到zk中去查看：
在这里插入图片描述

副本

broker存放消息以消息达到顺序存放。生产和消费都是副本感知的。支持到n-1故障，只要有一个副本还在，就可以使用。每个分区下的副本都有leader，follow。leader挂掉时，消息分区写入到本地log或者在向生产者发送消息确认回执之前，生产者向新的leader发送消息。新leader的选举是通过isr进行，第一个注册的follower成为leader。

kafka支持副本模式
  • 同步副本（可靠，但效率低）
    1. producer联系zk识别leader
    2. producer向leader发送消息
    3. leadr收到消息写入到本地log
    4. follower从leader pull（拉）消息
    5. follower向本地写入log
    6. follower向leader发送ack（确认写入完毕）消息
    7. leader收到所有follower的ack消息
    8. leader向producer回传ack
  • 异步副本（不可靠，容易丢数据，效率高）
    和同步复制的区别在于leader写入本地log之后，直接向producer回传ack消息，不需要等待所有follower复制完成。

JAVA API

Kafka 官方API在线文档

环境搭建
	<dependency>
       <groupId>org.apache.kafka</groupId>
       <artifactId>kafka-clients</artifactId>
       <version>1.1.0</version>
   </dependency>
生产者
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;

public class ProducerTest {

    public static void main(String[] args) {
        Properties prop = new Properties();
        prop.put("bootstrap.servers","192.168.200.100:9092,192.168.200.101:9092,192.168.200.102:9092");
        prop.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        prop.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer");
        //设置是否全部提交（同步副本）
        prop.put("acks","all");
        Producer<String,String> producer = new KafkaProducer<String,String>(prop);
        for(int i = 0; i < 2147483;i++){
            ProducerRecord<String,String> record = new ProducerRecord<String,String>("test1",(new Date()).getTime() + "-" + i ,"Hello world suda" + i);
            producer.send(record);
        }
        //必须加关闭，否则生产者断开时，kafka服务端不能完整接收数据
        producer.close();
    }
}
消费者
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

public class ConsumerTest {
    public static void main(String[] args) {
        Properties props = new Properties();
        //新版的kafka客户端已经不支持连接zk去连接kafka，而是直接连kafka
        props.setProperty("bootstrap.servers", "192.168.200.100:9092,192.168.200.101:9092,192.168.200.102:9092");
        props.setProperty("group.id", "aaa");
        props.setProperty("enable.auto.commit", "true");
        props.setProperty("auto.commit.interval.ms", "1000");
        props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        //添加主题
        consumer.subscribe(Arrays.asList("test1"));
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100).toMillis());
            for (ConsumerRecord<String, String> record : records)
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
        }
    }
}

kafka集成flume

  1. flume作为生产者，即kafka作为flume的sink

    a1.sources=r1
a1.sinks=k1
a1.channels=c1

a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=8888

a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic=test1
a1.sinks.k1.kafka.bootstrap.servers=Centos100:9092,Centos101:9092,Centos102:9092
a1.sinks.k1.kafka.flumeBatchSize=20
a1.sinks.k1.kafka.producer.acks=1

a1.channels.c1.type=memory

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

  2. flume作为消费者，即kafka作为source

    a1.sources=r1
a1.sinks=k1
a1.channels=c1

a1.sources.r1.type=org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize=5000
a1.sources.r1.batchDurationMillis=2000
a1.sources.r1.kafka.bootstrap.servers=Centos100:9092,Centos101:9092,Centos102:9092
a1.sources.r1.kafka.topics=test1
a1.sources.r1.kafka.consumer.group.id=g4

a1.sinks.k1.type=logger

a1.channels.c1.type=memory

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

  3. flume既作为生产者，又作为消费者

    a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 8888

a1.sinks.k1.type = logger

a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = Centos100:9092,Centos101:9092,Centos102:9092
a1.channels.c1.kafka.topic = test1
a1.channels.c1.kafka.consumer.group.id = g6
a1.channels.c1.parseAsFlumeEvent=false

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
码仆的逆袭
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
kafka发送json数据_Kafka的生产者案例和消费者详细解析
weixin_39559071的博客
11-26 7358
一、Kafka的Producer小案例假设我们现在有一个电商系统，凡是能登录系统的用户都是会员，会员的价值体现在，消费了多少钱，就会累计相应的积分。积分可以兑换礼品包，优惠券···等等。又到了我们的画图时间?。首先我们得先来一个订单系统，那这个订单系统中肯定就会有数据日志产生，它现在就是把这些日志写到Kafka里面，日志我们使用json的方式记录。图中的statement表示订单状态，此...
emqx_bridge_kafka
03-19
emqx_bridge_kafka 桥接EMQX到kafka 特征 _build / default / lib /墨鱼/ _build / escript / bin /墨鱼-e etc -c ./etc/emqx_bridge_kafka.conf -i priv / emqx_bridge_kafka.schema -d数据 构建插件 做&&做测试 ...
若在原DSG链路中新增通道对并进行监控
Cleoprtra.L的博客
07-23 315
1）若master.properties配置文件中auto.config.channel配置为true，先执行dsg.sh文件在channel.uselocal文件中生成新增通道的配置信息，再重启agent 2）若master.properties配置文件中auto.config.channel配置为false，直接重启agent 注：新增通道对需已启动...
emq_plugin_kafka
07-02
emq连接kafka，并发布消息到kafka的emq插件。插件主要使用emq的钩子函数，将数据通过ekaf发送到kafka中。
链路状态路由协议OSPF原理和命令
starmm666的博客
05-06 509
链路状态路由协议OSPF 特点： 无有环路（采用SPF算法，别名Dijkstra算法） 收敛快（OSPF更新的是链路状态） 扩展性好（分区） 支持认证（v2支持认证） OSPF三张表 邻居表（已经建立邻居关系的路由器） LSDB（链路状态数据库）：包含了该路由器在本区域所有的链路状态信息，并实时同步 路由表：根据SPF算法算出的路由放在ospf路由表中 OSPF的五种报文 hello报文：用于建立邻居关系 DD报文：对LSDB的汇总（仅发送LSA摘要） LSR报文：请求自己没有的或是比自己更新的链路状态信息
Kafka（三）生产者发送JSON消息+使用统一序列化器+提升吞吐量
特别享受思考问题的过程
11-13 2279
消息格式为JSON, 使用Jackson将类序列化为JSON字符串@Override在实际编码过程中，可以参考官方写的Kafka权威指南对应章节书写，或者参考各大云服务厂商的Kafak的开发者文档。不过我建议还是看Kafka权威指南， 我看了阿里云和华为云的，虽然都号称兼容开源Kafka，但是发现其版本和开源版本之间存在一定的滞后性，许多最佳实践已经过时Kafka生产者端没什么特别的，主要是根据业务场景设计消息格式，以及如何尽可能的减小消息体积。
DSG在国内的众多应用案例和客户列表
weixin_30635053的博客
07-13 2258
1 DSG在国内的主要应用客户 ü 中国电信：电信总部、北方电信9省、江苏电信、浙江电信、重庆电信、江西电信、广西电信、xinjiang电信、青海电信、海南电信、贵州电信、甘肃电信、宁夏电信、福建电信、成都电信； ü 中国移动：江西移动、广西移动、甘肃移动、xinjiang移动、青海移动； ü 中国网通：辽宁网通、周口通信、沧州通信； ü 中国联通：广东联通、江苏联通、天津联...
python如何向kafka发送数据？
12-23 4479
from kafka import KafkaProducer from kafka.errors import kafka_errors import traceback import json # 假设生产的消息为json字符串 producer = KafkaProducer( bootstrap_servers=['localhost:9092'], key_serializer=lambda k: json.dumps(k).encode(), value_serial.
dsg_03通信
JAVA & HTML
07-05 7087
通信TCP/IPTCP/IP协议集的主要协议OSI（开放系统互连参考模型）TCP协议建立连接的三次握手 TCP/IP TCP：传输控制协议 IP：网络协议 TCP/IP协议集的主要协议 协议 提供服务 相应OSI层 IP 数据报服务 3 ICMP 差错和控制 3 ARP 互联网地址 -> 物理地址 3 RARP 物理地址 -> 互联网地址 3 TCP 可靠流服务 4 FTP 文件传送 5~7 TELNET 终端仿真 5~7 DNS 域名 ->
kafka发送json数据_CICS和Kafka的集成
weixin_27869497的博客
12-21 1146
我们曾在之前的文章(COBOL程序数据转JSON格式消息·III)提到过Kafka在CICS中的运用，今天我们将通过一个案例，更加全面地介绍Kafka和CICS的集成情况。如何把CICS应用程序中的消息发送到各大流处理服务器，帮助CICS用户扩大业务范围，一直是CICS努力的方向之一。如今，Kafka已被全球众多企业广泛采用，成为最受欢迎的分布式流处理平台之一。毫无疑问，CICS也支持和...
apache-kafka-documentation-cn.zip_apache kafka_kafka
09-23
apache-kafka-documentation-cn
kafka_springboot_kafka_
10-03
springboot整合kafka，无任何多余代码，带测试实例，新手入kafka最佳选择
Kafka_learn_kafka_
09-30
kafka intro for basic learner
Trunk技术
zyzsgdsg的博客
03-24 637
Trunk即干道协议，采用Trunk链路技术可以实现不同交换机同网段的Vlan间通信。
DSG & YashanDB数据交互解决方案：更稳、更快、更安全
cod0410的博客
12-29 879
在经典数据库理论基础上，融入原创的有界计算理论、近似计算理论、并行可扩展理论和跨模融合计算理论，支持单机/主备、共享集群、分布式等多种部署方式，覆盖OLTP/HTAP/OLAP交易和分析混合负载场景，全面兼容私有化及云基础设施，为客户提供一站式的企业级融合数据管理解决方案，满足金融、政府、电信、能源等关键行业对高性能、高并发及高安全性的要求。库对象、数据全量与增量迁移与同步等全场景，满足复杂同步需求场景，可做到“数据库零停机迁移”，业务不中断，减少对于生产数据库的资源占用及对应用系统的影响。
不会还有人不会配置LLDP链路层发现协议吧？
XMWS-IT
04-07 1001
实验目的 1、了解链路层发现协议LLDP的运行原理 2、掌握链路层发现协议LLDP的配置方法 实验拓扑 实验需求 1、根据实验拓扑图，完成设备的基本配置； 2、在R1上使用LLDP查看SW1和R2的设备信息； 3、注意：LLDP默认关闭，需要手工打开。 实验步骤 步骤1：设备的基本配置 配置R1： Router>enableRoute...
Python 操作 Kafka：kafka-python、confluent-kafka
freeking101的博客
06-28 2965
Python 操作 Kafka：kafka-python、confluent-kafka
Python kafka操作实例（kafka-python）
墨痕诉清风的博客
05-27 3126
5. 创建Topic，分区为2，Topic name为'kafka_demo'注意：上述代码，将kafka启动在9092端口。7. 安装kafka-python。2. 本地启动zookeeper。4. 进入kafka bash。6. 查看当前所有topic。3. 本地启动kafka。
android手机应用源码Imsdroid语音视频通话源码.rar
最新发布
05-20
android手机应用源码Imsdroid语音视频通话源码.rar
python 安装confluent_kafka
09-12
要安装python的confluent_kafka库，你可以按照以下步骤进行操作。首先，确保你使用的是Python 2.7版本。然后，尝试使用命令"pip install confluent_kafka"进行安装。如果遇到报错，可以尝试使用命令"pip install ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值