flinksql 写入hive 时间类型

给大家整理了一些有关【Hive,F】的项目学习资料（附讲解～～）：

 https://edu.51cto.com/course/31545.html

 https://edu.51cto.com/course/27963.html

使用Flink SQL写入Hive的时间类型数据

在这一篇文章中，我们将学习如何使用Apache Flink SQL将时间类型数据写入Hive表。作为一个新手开发者，理解整个流程是关键。接下来，我们将通过表格展示步骤，然后详细讲解每一步所需的代码和解释。

流程概述

以下是将Flink SQL写入Hive的整体流程：

步骤	描述
1	设置Flink环境
2	创建Flink SQL表
3	读取数据源
4	写入Hive表
5	验证写入结果

步骤详解

步骤1: 设置Flink环境

要写入Hive，首先需要创建Flink环境。这包括设置Flink的执行环境以及Hive的连接。

登录后复制

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.TableEnvironment;

public class FlinkHiveExample {
    public static void main(String[] args) {
        // 创建流执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        
        // 设置Table环境，以便执行Flink SQL
        EnvironmentSettings settings = EnvironmentSettings.newInstance()
                .useOldPlanner() // 使用旧的规划器
                .inStreamingMode() // 以流式模式执行
                .build();
        TableEnvironment tableEnv = TableEnvironment.create(settings);
    }
}

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.
• 17.

代码解释:

• 该代码初始化了Flink的流执行环境，并创建了一个Table环境进行SQL操作。

步骤2: 创建Flink SQL表

接下来，我们需要创建一个Flink SQL表，定义该表的结构，包括时间类型的数据。

登录后复制

CREATE TABLE source_table (
    id INT,
    event_time TIMESTAMP(3) // 创建一个包含时间戳的字段
) WITH (
    'connector' = '...', // 此处填写具体的连接器信息
    ...
);

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.

代码解释:

• CREATE TABLE用于定义Flink表。
• event_time TIMESTAMP(3)表示一个精确到毫秒的时间戳字段。

步骤3: 读取数据源

接下来，我们需要从适当的数据源读取数据，可以是文本文件、Kafka等。

登录后复制

CREATE TABLE my_source (
    id INT,
    event_time TIMESTAMP(3)
) WITH (
    'connector' = 'filesystem',  // 从文件系统读取
    'path' = 'hdfs://path/to/your/input/data', // 数据路径
    'format' = 'csv' // 数据格式为CSV
);

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.

代码解释:

• 这个语句创建了一个从文件系统读取的源表。

步骤4: 写入Hive表

在完成源数据的定义后，我们会把数据写入Hive表中。

登录后复制

CREATE TABLE hive_table (
    id INT,
    event_time TIMESTAMP(3)
) PARTITIONED BY (date STRING) // 按照日期分区
WITH (
    'connector' = 'hive',
    'database' = 'your_database',
    'table-name' = 'your_table'
);

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.

代码解释:

• hive_table是定义的Hive表，在这我们可以选择通过分区存储数据。
• 需要确保Hive的连接器配置正确，例如数据库名和表名。

然后，我们执行写入操作：

登录后复制

INSERT INTO hive_table
SELECT id, event_time, DATE_FORMAT(event_time, 'yyyy-MM-dd') AS date
FROM my_source;

• 1.
• 2.
• 3.

代码解释:

• INSERT INTO语句将数据从源表插入最后创建的Hive表中。

步骤5: 验证写入结果

完成写入后，可以通过Hive命令行或其他工具验证数据是否成功写入。

登录后复制

SELECT * FROM hive_table WHERE date = '2023-09-01';

• 1.

代码解释:

• 这个查询从Hive表中检索一个特定日期的数据行。

ER图

在整个操作中，Flink表与Hive表之间的关系可以用ER图表示：

甘特图

为了更好地理解每一个步骤的进度，我们可以使用甘特图进行表示：

结论

通过以上步骤，我们详细介绍了如何使用Flink SQL将时间类型的数据写入Hive表。在设置Flink环境、创建表、读取数据源、写入Hive以及验证写入结果的过程中，我们使用了必要的CRUD操作和Hive的特点。希望这篇文章能帮助你更好地理解作业流程，成为一名合格的数据开发者！如果在实现过程中还有疑问，欢迎进一步交流！

原创作者: u_16213439 转载于: https://blog.51cto.com/u_16213439/11616046