【物联网】Qinghub Kafka 数据采集，2024年最新2024大数据开发面试笔试总结

required: false
default-value: 1
input-type: select
select-option: 长度字节后数据长度|1,整个TCP包长度|2
description: 数据包中字节长度的含义，是长度字节后面的字节长度，还是整个TCP包的长度
value-type: int
advance[0]:
name: 连接最大空闲时间秒数
key: tcp.timeout.seconds
required: false
value-type: int
default-value: 60
input-type: input
description: TCP连接最大空闲时间，单位秒，默认60秒
advance[1]:
name: TCP包每一帧最大字节数
key: tcp.max.frame.length
required: false
value-type: int
default-value: 2048
input-type: input
description: TCP包每一帧最大字节数，超过最大字节数会丢弃数据并关闭连接，默认2048

组件测试

针对所有网关，操作方式均为，拖动网关-》配置网关-》启动网关

1. 配置网关

2. 参数说明

3. 启动网关

注意观察执行日志，确保网关正常运行，状态status 字段为1时表示正常运行中

4. 测试验证

1）前提准备：
已经安装好kafka 节点并一正常启动，测试环境kafka信息如下：

IP： 192.168.3.195
PORT： 19092
用户/密码： NONE

2）配置参数

我们只关注到主要的配置信息。高级配置保持默认即可。
3）启动网关
确保kafka-connector已经正常启动
通过kafka客户端直接发送测试数据：

/opt/kafka_2.13-3.3.1/bin
[develop@itserver01 bin]$ ./kafka-console-producer.sh --broker-list 192.168.3.195:19092 --topic test-topic

4）状态确认
使用TCP 测试工具连接tcp-connector并发送数据执行测试
观察tcp-connector网关日志信息确认是否成功

如果收到与发送的消息一致即配置成功。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

、实战项目、讲解视频，并且后续会持续更新**

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-xHAGk5Dh-1712547978444)]