解决Kafka HDFS Sink Connector Integrated with Hive 报错

最新推荐文章于 2024-08-09 00:52:28 发布
最新推荐文章于 2024-08-09 00:52:28 发布
阅读量1.8k 收藏
点赞数 2
分类专栏： 大数据 kafka hive 文章标签： kafka connect 大数据 hive avro
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzufeng/article/details/81452262
版权
kafka 同时被 3 个专栏收录
13 篇文章 1 订阅
订阅专栏
大数据
10 篇文章 1 订阅
订阅专栏
hive
2 篇文章 0 订阅
订阅专栏

Kafka Connect 是distributed模式，分别运行在192.168.1.204和192.168.1.100和192.168.1.200这三台机器上，开放了18083端口（因为默认的8083端口被占用了）用于向kafka connect的worker进程提交connector。

在用confluent hdfs sink connector把kafka中的数据导入到hdfs并导入到hive表时，connector配置如下：

{
        "name":"dev_hdfs-sink",
        "config":{
                "connector.class":"io.confluent.connect.hdfs.HdfsSinkConnector",
                "tasks.max":"1",
                "topics":"user_option5",
                "hdfs.url":"hdfs://192.168.1.204:14000",
                "flush.size":"3",
                "hive.integration":true,
                "hive.database":"test_db",
                "hive.metastore.uris":"thrift://192.168.1.204:9083",
                "schema.compatibility":"BACKWARD"
        }
}

在对hive表执行select的时候遇到了报错：

12: jdbc:hive2://localhost:10000> select * from user_option5;
19:41:29.901 [main] DEBUG org.apache.thrift.transport.TSaslTransport - writing data length: 133
19:41:29.958 [main] DEBUG org.apache.thrift.transport.TSaslTransport - CLIENT: reading data length: 4594
Error: Error while compiling statement: FAILED: RuntimeException MetaException(message:org.apache.hadoop.hive.serde2.avro.AvroSerdeException Schema for table must be of type RECORD. Received type: STRING) (state=42000,code=40000)

查看connector自动创建的hive表的建表语句：

12: jdbc:hive2://localhost:10000> show create table user_option5;
+--------------------------------------------------------------------+--+
|                           createtab_stmt                           |
+--------------------------------------------------------------------+--+
| CREATE EXTERNAL TABLE `user_option5`(                              |
| )                                                                  |
| PARTITIONED BY (                                                   |
|   `partition` string COMMENT '')                                   |
| ROW FORMAT SERDE                                                   |
|   'org.apache.hadoop.hive.serde2.avro.AvroSerDe'                   |
| STORED AS INPUTFORMAT                                              |
|   'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'     |
| OUTPUTFORMAT                                                       |
|   'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'    |
| LOCATION                                                           |
|   'hdfs://192.168.1.204:14000/topics/user_option5'                 |
| TBLPROPERTIES (                                                    |
|   'avro.schema.literal'='{"type":"string","connect.version":1}',   |
|   'transient_lastDdlTime'='1533469246')                            |
+--------------------------------------------------------------------+——————————————————————————————————+

可以发现，avro.schema.literal中的type是string，应该是record类型。

报错的原因是KafkaProducer在发送消息的时候没有指定消息的schema信息。
在生产者代码中指定schema信息后就好了：

package com.superid.kafka.producer;

import io.confluent.kafka.serializers.KafkaAvroSerializerConfig;
import org.apache.avro.Schema;
import org.apache.avro.generic.GenericData;
import org.apache.avro.generic.GenericRecord;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.HashMap;
import java.util.Map;
import java.util.Properties;
import java.util.stream.IntStream;

/**
 * @author 
 * @create: 2018-08-01 17:55
 */
public class SimuKafkaProducer {

    public static void main(String[] args) {
        Properties props = new Properties();

        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.1.204:9092,192.168.1.100:9092,192.168.1.200:9092");
        props.put("acks", "all");
        props.put("retries", Integer.MAX_VALUE);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, io.confluent.kafka.serializers.KafkaAvroSerializer.class);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, io.confluent.kafka.serializers.KafkaAvroSerializer.class);

        // Schema Registry location.
        props.put(KafkaAvroSerializerConfig.SCHEMA_REGISTRY_URL_CONFIG,
                "http://192.168.1.204:18081,http://192.168.1.100:18081,http://192.168.1.200:18081");

        KafkaProducer producer = new KafkaProducer(props);
        //要把消息的schema信息列出来
        String userOptionSchema = "{\"type\":\"record\",\"name\":\"user_option8\"," +
                "\"fields\":[" +
                "{\"name\":\"allianceId\",\"type\":\"long\"}," +
                "{\"name\":\"affairId\",\"type\":\"long\"},"+
                "{\"name\":\"userId\",\"type\":\"int\"},"+
                "{\"name\":\"opType\",\"type\":\"string\"},"+
                "{\"name\":\"beOperatedRoleId\",\"type\":\"string\"},"+
                "{\"name\":\"attrs\",\"type\":{\"type\": \"map\", \"values\":\"string\"}}"+
                "]}";

        Schema.Parser parser = new Schema.Parser();
        Schema schema = parser.parse(userOptionSchema);


        try {
            IntStream.range(1, 100).forEach(index -> {
                Map<String, Object> map = new HashMap<>();
                map.put("name", "pilaf");
                map.put("age", index + 20+"");

                GenericRecord avroRecord = new GenericData.Record(schema);
                avroRecord.put("allianceId", 11L);
                avroRecord.put("affairId",23L);
                avroRecord.put("userId",12);
                avroRecord.put("opType","c");
                avroRecord.put("beOperatedRoleId","str111");
                avroRecord.put("attrs",map);
                //发送的ProducerRecord中要包着avroRecord
                producer.send(new ProducerRecord("user_option8", index,avroRecord));

            });
        } catch (Exception e) {
            // may need to do something with it
            e.printStackTrace();
        } finally {
            producer.flush();
            producer.close();
        }

    }
}

删掉原来的connector，在linux shell命令中执行：

curl -X DELETE localhost:18083/connectors/dev_hdfs-sink

重新配置一下connector（配置信息放在了文件dev_hdfs-sink.json中，换了一个topic名字）：

{
        "name":"dev_hdfs-sink",
        "config":{
                "connector.class":"io.confluent.connect.hdfs.HdfsSinkConnector",
                "tasks.max":"1",
                "topics":"user_option8",
                "hdfs.url":"hdfs://192.168.1.204:14000",
                "flush.size":"3",
                "hive.integration":true,
                "hive.database":"test_db",
                "hive.metastore.uris":"thrift://192.168.1.204:9083",
                "schema.compatibility":"BACKWARD"
        }
}

再启动connector：

cd  /home/tidb/confluent-4.1.1/etc/kafka-connect-hdfs
curl -X POST -H "Content-Type: application/json" --data @dev_hdfs-sink.json http://192.168.1.204:18083/connectors

启动connector后，运行producer程序向kafka的topic：user_option8写一些数据后，就会自动把消息放到hdfs上，并入hive表（建表都是自动完成的，不需要手动干预）。

此时，再查看connector自动创建的hive表的建表语句（show create table user_option8）：

+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+--+
|                                                                                                                                                                                createtab_stmt                                                                                                                                                                                 |
+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+--+
| CREATE EXTERNAL TABLE `user_option8`(                                                                                                                                                                                                                                                                                                                                         |
|   `allianceid` bigint COMMENT '',                                                                                                                                                                                                                                                                                                                                             |
|   `affairid` bigint COMMENT '',                                                                                                                                                                                                                                                                                                                                               |
|   `userid` int COMMENT '',                                                                                                                                                                                                                                                                                                                                                    |
|   `optype` string COMMENT '',                                                                                                                                                                                                                                                                                                                                                 |
|   `beoperatedroleid` string COMMENT '',                                                                                                                                                                                                                                                                                                                                       |
|   `attrs` map<string,string> COMMENT '')                                                                                                                                                                                                                                                                                                                                      |
| PARTITIONED BY (                                                                                                                                                                                                                                                                                                                                                              |
|   `partition` string COMMENT '')                                                                                                                                                                                                                                                                                                                                              |
| ROW FORMAT SERDE                                                                                                                                                                                                                                                                                                                                                              |
|   'org.apache.hadoop.hive.serde2.avro.AvroSerDe'                                                                                                                                                                                                                                                                                                                              |
| STORED AS INPUTFORMAT                                                                                                                                                                                                                                                                                                                                                         |
|   'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'                                                                                                                                                                                                                                                                                                                |
| OUTPUTFORMAT                                                                                                                                                                                                                                                                                                                                                                  |
|   'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'                                                                                                                                                                                                                                                                                                               |
| LOCATION                                                                                                                                                                                                                                                                                                                                                                      |
|   'hdfs://192.168.1.204:14000/topics/user_option8'                                                                                                                                                                                                                                                                                                                            |
| TBLPROPERTIES (                                                                                                                                                                                                                                                                                                                                                               |
|   'avro.schema.literal'='{"type":"record","name":"user_option8","fields":[{"name":"allianceId","type":"long"},{"name":"affairId","type":"long"},{"name":"userId","type":"int"},{"name":"opType","type":"string"},{"name":"beOperatedRoleId","type":"string"},{"name":"attrs","type":{"type":"map","values":"string"}}],"connect.version":1,"connect.name":"user_option8"}',   |
|   'transient_lastDdlTime'='1533525123')                                                                                                                                                                                                                                                                                                                                       |
+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+--+

可以看到，现在的建表语句中的avro.schema.literal中就包含了schema信息。

此时再查询Hive表，可以看到表中就有数据了：

| user_option8.allianceid  | user_option8.affairid  | user_option8.userid  | user_option8.optype  | user_option8.beoperatedroleid  |       user_option8.attrs       | user_option8.partition  |
+--------------------------+------------------------+----------------------+----------------------+--------------------------------+--------------------------------+-------------------------+--+
| 11                       | 23                     | 12                   | c                    | str111                         | {"name":"pilaf","age":"22"}    | 0                       |
| 11                       | 23                     | 12                   | c                    | str111                         | {"name":"pilaf","age":"23"}    | 0                       |
| 11                       | 23                     | 12                   | c                    | str111                         | {"name":"pilaf","age":"24"}    | 0                       |
| 11                       | 23                     | 12                   | c                    | str111                         | {"name":"pilaf","age":"25"}    | 0                       |
| 11                       | 23                     | 12                   | c                    | str111                         | {"name":"pilaf","age":"26"}    | 0                       |
| 11                       | 23                     | 12                   | c                    | str111                         | {"name":"pilaf","age":"27"}    | 0                       |
+--------------------------+------------------------+----------------------+----------------------+--------------------------------+--------------------------------+-------------------------+--+

看到上面的schema字符串很长很恶心，为了方便构造schema字符串，笔者做了一个简单的封装：

package com.superid.entity;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**
 * @author dufeng
 * @create: 2018-08-06 13:55
 */
public class MySchema {
    /**
     * 用于Hive表
     */
    public static final String RECORD_TYPE = "record";

    /**
     * schema的type类型，一般用record
     */
    private String type;
    /**
     * schema的名字信息
     */
    private String name;
    /**
     * schema中的字段
     */
    private List<Map<String, String>> fields = new ArrayList<>();

    /**
     * 不对外提供公开构造器，让使用者通过builder构造
     */
    private MySchema(){

    }


    private MySchema(Builder builder) {
        type = builder.type;
        name = builder.name;
        fields = builder.fields;
    }


    public static final class Builder {
        private String type;
        private String name;
        private List<Map<String, String>> fields = new ArrayList<>();

        public Builder() {
        }

        public Builder type(String val) {
            type = val;
            return this;
        }

        public Builder name(String val) {
            name = val;
            return this;
        }

        public Builder fields(List<Map<String, String>> fieldMap) {
            fields = fieldMap;
            return this;
        }

        public Builder field(String name,String type) {
            type = type.toLowerCase();

            Map<String,String> aFieldMap = new HashMap<>();
            aFieldMap.put("name",name);
            aFieldMap.put("type",type);
            fields.add(aFieldMap);

            return this;
        }

        public Builder field(Map<String, String> map) {
            fields.add(map);
            return this;
        }

        public MySchema build() {
            return new MySchema(this);
        }
    }


    @Override
    public String toString() {
        StringBuilder fieldStr = new StringBuilder("[");
        for(Map<String,String> map:fields){
            fieldStr.append("{");
            fieldStr.append("\"name\":").append("\"").append(map.get("name")).append("\",");
            if(map.get("type").startsWith("{")){
                fieldStr.append("\"type\":").append(map.get("type"));
            }else {
                fieldStr.append("\"type\":").append("\"").append(map.get("type")).append("\"");
            }

            fieldStr.append("}");
            fieldStr.append(",");
        }

        //删除最后一个多余的逗号
        fieldStr.deleteCharAt(fieldStr.length()-1);

        fieldStr.append("]");

        return "{" +
                "\"type\":\"" + type + '\"' +
                ",\"name\":\"" + name + '\"' +
                ",\"fields\":" + fieldStr.toString() +
                '}';
    }
}

这样可以通过如下代码构造schema字符串，尽量减小对业务代码的污染：

        String userOptionSchema = new MySchema.Builder()
                .type(MySchema.RECORD_TYPE)
                .name("user_option8")
                .field("allianceId","long")
                .field("affairId","long")
                .field("userId","int")
                .field("opType","string")
                .field("beOperatedRoleId","string")
                .field("attrs","{\"type\": \"map\", \"values\":\"string\"}")
                .build()
                .toString();

        Schema.Parser parser = new Schema.Parser();
        Schema schema = parser.parse(userOptionSchema);
pilaf1990
关注
专栏目录
【Flink 实战系列】Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）
JasonLee实时计算
10-05 1612
我们用 datastream API 实现了从 Kafka 读取数据写到 HDFS 并且用 snappy 压缩，今天这篇文章我们来实现一个 Flink SQL 版本的，为了方便我直接采用 sql-client 提交任务的方式来演示。可以看到分区正常生成了，数据也都正常，_SUCCESS 文件也生成了，这里我就不在把数据加载到 hive 表里测试了，上一篇文章中有测试，大家可以自己测一下。在这里面会把所有需要用到的 parquet 相关的依赖都打进来，所以我们不需要添加其他 parquet 相关的包了。
kafka-connect-hdfs:Kafka Connect HDFS连接器
04-30
Kafka Connect HDFS连接器 kafka-connect-hdfs是一个用于在Kafka和Hadoop HDFS之间复制数据。 可以在找到该连接器的文档。 发展 要构建开发版本，您需要Kafka的最新版本以及一系列上游Confluent项目，您必须从其相应的快照分支中进行构建。 有关此过程的指导，请参见。 您可以使用标准生命周期阶段在Maven中构建kafka-connect-hdfs。 常问问题 在此处参考有关Kafka Connect HDFS的常见问题-https: 贡献 源代码： : 问题追踪器： : 执照 该项目已获得Apache 2许可。
分布式Kafka HDFS Sink Connector Integrated with Hive配置
码农无双的博客
08-12 906
{ &amp;quot;name&amp;quot;:&amp;quot;dev_hdfs-sink&amp;quot;, &amp;quot;config&amp;quot;:{ &amp;quot;connector.class&amp;quot;:&amp;quot;io.confluent.connect.hdfs.HdfsSinkConnector&amp
通过 Kafka Connect 将 Kafka 主题中的数据导出到 Hive 是一种常见的数据集成模式
靡不有初，鲜克有终
07-24 226
通过 Kafka Connect 将 Kafka 主题中的数据导出到 Hive 是一种常见的数据集成模式，它允许用户将实时数据流无缝地存储到 Hive 中，以便进行批处理和数据仓库操作。- 对于将数据从 Kafka 导出到 Hive，你需要配置 Connector 以从 Kafka 主题读取数据，并将其写入到 Hive 表中。通过这种方式，Kafka Connect 提供了一个强大而灵活的框架，允许你将实时数据流与数据仓库技术相结合，实现数据的实时分析和历史分析。
kafka-connect-hive sink实现要点小结
weixin_30949361的博客
02-25 337
　　kafka-connect-hive sink插件实现了以ORC和Parquet两种方式向Hive表中写入数据。Connector定期从Kafka轮询数据并将其写入HDFS，来自每个Kafka主题的数据由提供的分区字段进行分区并划分为块，每个数据块都表示为一个HDFS文件，文件名由topic名称+分区编号+offset构成。如果配置中没有指定分区，则使用默认分区方式，每个数据块的大小...
Kafka Connect HDFS
五哥的酒馆
11-08 2579
概述Kafka 的数据如何传输到HDFS？如果仔细思考，会发现这个问题并不简单。不妨先想一下这两个问题?1）为什么要将Kafka的数据传输到HDFS上？2）为什么不直接写HDFS而要通过Kafka?HDFS一直以来是为离线数据的存储和计算设计的，因此对实时事件数据的写入并不友好，而Kafka生来就是为实时数据设计的，但是数据在Kafka上无法使用离线计算框架来作批量离线分析。那么，Kaf...
kafka-connect-hive sink插件入门指南
Viking的博客
02-15 2684
面试：你懂什么是分布式系统吗？Redis分布式锁都不会？>>> kafka-connect-hive是基于kafka-connect平台实现的hive数据读取和写入插件，主要由source、sink两部分组成，source部分完成hive表数据的读取任务，kafka-connect将这些数据写入到其他数据存储层中，比如hive到ES数据的流入。sink部分完成向hive表...
Flume+HDFS+Kafka+Hive实例搭建
Evankaka的专栏
03-04 9905
          摘要：本文要实现的是一个使用Flume来处理Kafka的数据，并将其存储到HDFS中去，然后通过Hive外部表关联查询出来存储的数据。 所以在建立一个maven工程，整个工程最终的目录如下： 下面开始一步一步讲解 1、定义自己的source    之所以不用源生的，是因为要对得到的消息要一定的处理后再保存到hdfs中去，这里主要就是将每一条消息解析并组装成以“|”做...
Flume sink hive Flume对接Hive（Sink）遇到的坑，以及最终放弃hive选用hdfs。欢迎讨论指点
MannerXu的博客
03-18 735
项目中打算使用Flume把数据直接传到Hive表而不是HDFS上，使用Hive作为Sink，Flume版本为1.9.0。 前期启动遇到各种报错： NoClassDefFoundError: org/apache/hadoop/hive/ql/session/SessionState NoClassDefFoundError: org/apache/hadoop/hive/cli/CliSessionState NoClassDefFoundError: org/apache/hadoop/hive/
flume采集日志到HDFS中再导入到hive表中
slmpl的博客
08-12 4224
flume介绍 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on st...
Flum实战文档-Kafka Source File Channel HDFS Sink
m0_37813354的博客
07-28 1608
1 需求 承接上一篇：kafka实战文档 https://blog.csdn.net/m0_37813354/article/details/107599928 flum 收集日志到HDFS flum 实战文档里有一张流程图 https://blog.csdn.net/m0_37813354/article/details/107595893 下面是向下补齐后成这个样子 现在要做的是这一块 消费kafka的数据到HDFS 2 准备一台flum 具体细节参照 flum 实战 ..
Kafka到Hdfs的数据Pipeline整理
weixin_30788731的博客
11-18 110
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下 1> Kafka -> Flume –> Hadoop Hdfs 常用方案,基于配置,需要注意hdfs小文件性能等问题. GitHub地址: https://github.com/apache/flum...
kafka connect，将数据批量写到hdfs完整过程
weixin_33713707的博客
03-23 619
版权声明：本文为博主原创文章，未经博主允许不得转载 本文是基于hadoop 2.7.1，以及kafka 0.11.0.0。kafka-connect是以单节点模式运行，即standalone。 一. 首先，先对kafka和kafka connect做一个简单的介绍 　　kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模...
kafka connect 数据写hdfs详解
热门推荐
石权的博客
07-05 1万+
源码解读写入状态机实现。 WRITE_STARTED WRITE_PARTITION_PAUSED SHOULD_ROTATE TEMP_FILE_CLOSED WAL_APPENDED FILE_COMMITED
KafkaConnect：对接HadoopHDFS的实践
最新发布
程序员光剑
08-09 883
KafkaConnect：对接HadoopHDFS的实践 1.背景介绍 在当今大数据时代，数据的采集、传输和存储是至关重要的。Apache Kafka作为一个分布式流处理平台,已经广泛应用于各种场景。而Hadoop分布式文件系统HDFS则是大数据存储的核心组件之一。将
kafka hdfs connect 会产生只有一个记录的小文件
石权的博客
07-06 2778
如果用kafka hdfs connect将流式数据导入hdfs，处理开始一定会产生N个只有一条记录的小文件，其中N 为kafka topic的分区数。不影响功能，但不友好。
Flink 常用的 Source 和 Sink Connectors 介绍
http://www.54tianzhisheng.cn/
09-22 651
通过前面我们可以知道 Flink Job 的大致结构就是 Source ——> Transformation ——> Sink。 那么这个 Source 是什么意思呢？我们下面来看看。 Data Source 介绍 Data Source 是什么呢？就字面意思其实就可以知道：数据来源。 Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做...
探索 Kafka Connect HDFS：数据流转的新里程碑
gitblog_00028的博客
04-18 293
探索 Kafka Connect HDFS：数据流转的新里程碑 项目地址:https://gitcode.com/confluentinc/kafka-connect-hdfs 项目简介 Kafka Connect HDFS 是一个开源项目，由 Confluent Inc. 维护，它为 Apache Kafka 和 Hadoop Distributed File System (HDFS) 提供了...
flume数据采集_flume采集Kafka数据到hdfshive
05-29
2. 然后，在Flume的配置文件中添加Kafka作为Source和HDFS/Hive作为Sink。例如，以下是一个简单的配置文件示例： ``` agent.sources = kafka-source agent.channels = hdfs-channel agent.sinks = hdfs-sink hive-...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值