最新【物联网】Qinghub Kafka 数据采集，大数据开发编程基础班-CSDN博客

本文链接：https://blog.csdn.net/2401_84592266/article/details/138940859

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

    value-type: string
  base[2]:
    name: Byte类型数据包长度字节数
    key: tcp.length.field.length
    required: false
    default-value: 2
    input-type: input
    description: 整个Byte类型的TCP数据包，包长度字节段一共有几个字节，用于长度拆包模式
    value-type: int
  base[3]:
    name: Byte类型数据包长度数据段起始位置偏移
    key: tcp.length.field.offset
    required: false
    default-value: 0
    input-type: input
    description: 长度字节段在整个数据包中从起始位置的偏移，用于长度拆包模式
    value-type: int
  base[4]:
    name: Byte类型数据包长度含义
    key: tcp.length.meaning
    required: false
    default-value: 1
    input-type: select
    select-option: 长度字节后数据长度|1,整个TCP包长度|2
    description: 数据包中字节长度的含义，是长度字节后面的字节长度，还是整个TCP包的长度
    value-type: int
  advance[0]:
    name: 连接最大空闲时间秒数
    key: tcp.timeout.seconds
    required: false
    value-type: int
    default-value: 60
    input-type: input
    description: TCP连接最大空闲时间，单位秒，默认60秒
  advance[1]:
    name: TCP包每一帧最大字节数
    key: tcp.max.frame.length
    required: false
    value-type: int
    default-value: 2048
    input-type: input
    description: TCP包每一帧最大字节数，超过最大字节数会丢弃数据并关闭连接，默认2048


#### 组件测试



> 
> 针对所有网关，操作方式均为，拖动网关-》配置网关-》启动网关
> 
> 
> 


1. 配置网关


![image.png](https://img-blog.csdnimg.cn/img_convert/1f7409233e127a17da4a998ce540ea09.png)


2. 参数说明


![image.png](https://img-blog.csdnimg.cn/img_convert/237aebd658b1960fbe78107490d8ca72.png)  
 ![image.png](https://img-blog.csdnimg.cn/img_convert/7146da7ff927934128595933eb2d10b9.png)  
 ![image.png](https://img-blog.csdnimg.cn/img_convert/99a4bd23f17b325999ae349e3f86f689.png)


3. 启动网关


注意观察执行日志，确保网关正常运行，状态status 字段为1时表示正常运行中  
 ![image.png](https://img-blog.csdnimg.cn/img_convert/041675f8dea29dce486f75b3a743c901.png)


4. 测试验证


1）前提准备：  
 已经安装好kafka 节点并一正常启动，测试环境kafka信息如下：



> 
> IP： 192.168.3.195  
>  PORT： 19092  
>  用户/密码： NONE
> 
> 
> 


2）配置参数  
 ![image.png](https://img-blog.csdnimg.cn/img_convert/62d270ab4b852cd3899f995f020695d8.png)  
 我们只关注到主要的配置信息。高级配置保持默认即可。  
 3）启动网关  
 确保kafka-connector已经正常启动![image.png](https://img-blog.csdnimg.cn/img_convert/645e0b36ebe63a74750838fe737605a2.png)  
 通过kafka客户端直接发送测试数据：

/opt/kafka_2.13-3.3.1/bin
[develop@itserver01 bin]$ ./kafka-console-producer.sh --broker-list 192.168.3.195:19092 --topic test-topic


4）状态确认  
 使用TCP 测试工具连接tcp-connector并发送数据执行测试  
 观察tcp-connector网关日志信息确认是否成功  
 ![image.png](https://img-blog.csdnimg.cn/img_convert/8fd55b89d698e05abdcf3606bef5d8e2.png)  
 如果收到与发送的消息一致即配置成功。


![img](https://img-blog.csdnimg.cn/img_convert/edbb8746ac2287c0a2f17920d68b939f.png)
![img](https://img-blog.csdnimg.cn/img_convert/a1a92a9690e34d5d850f4ae1413c920b.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**