【物联网】Qinghub Kafka 数据采集

基础信息

组件名称 ： kafka-connector
组件版本： 1.0.0
组件类型： 系统默认
状 态： 正式发布
组件描述：通用kafka连接网关，消费来自kafka的数据，并转发给下一个节点做相关的数据解析。

配置文件：

注： 配置文件仅供修改升级组件式利用，一般情况下对用户透明。无需做任何更改，除非用户需要手动维护组件心跳或通信端口时，一般情况下禁止修改。

df:
  component:
  	##全局参数
    name: tcp-connector
    type: 2                               #1:采集器;2:接收器;3:转换器;4:存储器;5:解析器;6:状态解析器:7:同步器;8:消息通知
    transportPort: 49096                  #内部akka
    heartbeatCron: 0/30 * * ? * * *       #网关心跳数据上报时间
    ##全局参数结束
    ##组件参数
    parameter:
      connection[0]:
        name: TCP服务端口号
        key: tcp.port
        required: true
        default-value: 16060
        input-type: input
        description: TCP服务占用的端口
        value-type: int
      base[0]:
        name: 数据包类型
        key: tcp.packet.type
        required: true
        default-value: 1
        value-type: int
        input-type: select
        select-option: 字符串类型|1,字节类型|2
      base[1]:
        name: 数据包固定分割字节数组ASCII值
        key: tcp.delimiter
        required: false
        default-value: 13,10
        input-type: input
        description: TCP数据包固定分割符十进制ASCII值，多个用英文,分割
        value-type: string
      base[2]:
        name: Byte类型数据包长度字节数
        key: tcp.length.field.length
        required: false
        default-value: 2
        input-type: input
        description: 整个Byte类型的TCP数据包，包长度字节段一共有几个字节，用于长度拆包模式
        value-type: int
      base[3]:
        name: Byte类型数据包长度数据段起始位置偏移
        key: tcp.length.field.offset
        required: false
        default-value: 0
        input-type: input
        description: 长度字节段在整个数据包中从起始位置的偏移，用于长度拆包模式
        value-type: int
      base[4]:
        name: Byte类型数据包长度含义
        key: tcp.length.meaning
        required: false
        default-value: 1
        input-type: select
        select-option: 长度字节后数据长度|1,整个TCP包长度|2
        description: 数据包中字节长度的含义，是长度字节后面的字节长度，还是整个TCP包的长度
        value-type: int
      advance[0]:
        name: 连接最大空闲时间秒数
        key: tcp.timeout.seconds
        required: false
        value-type: int
        default-value: 60
        input-type: input
        description: TCP连接最大空闲时间，单位秒，默认60秒
      advance[1]:
        name: TCP包每一帧最大字节数
        key: tcp.max.frame.length
        required: false
        value-type: int
        default-value: 2048
        input-type: input
        description: TCP包每一帧最大字节数，超过最大字节数会丢弃数据并关闭连接，默认2048

组件测试

针对所有网关，操作方式均为，拖动网关-》配置网关-》启动网关

1. 配置网关

2. 参数说明

3. 启动网关

注意观察执行日志，确保网关正常运行，状态status 字段为1时表示正常运行中

4. 测试验证

1）前提准备：
已经安装好kafka 节点并一正常启动，测试环境kafka信息如下：

IP： 192.168.3.195
PORT： 19092
用户/密码： NONE

2）配置参数

我们只关注到主要的配置信息。高级配置保持默认即可。
3）启动网关
确保kafka-connector已经正常启动
通过kafka客户端直接发送测试数据：

/opt/kafka_2.13-3.3.1/bin
[develop@itserver01 bin]$ ./kafka-console-producer.sh --broker-list 192.168.3.195:19092 --topic test-topic

4）状态确认
使用TCP 测试工具连接tcp-connector并发送数据执行测试
观察tcp-connector网关日志信息确认是否成功

如果收到与发送的消息一致即配置成功。

注意：这里返回消息日志中大量的null，请不用关注，在整个架构设计中，我们数据发送的格式全都采用的统一的格式，而所有结构网关类型的组件上传的数据完全不关心数据格式，只负责转发数据，由其他对应的组件做相关的数据处理。