将win本地文件数据导入hive表中（通用方法）

最新推荐文章于 2024-07-19 16:36:12 发布

随风奔跑之水

最新推荐文章于 2024-07-19 16:36:12 发布

阅读量3.2k

点赞数 3

分类专栏： Hadoop 数据仓库（hive）

本文链接：https://blog.csdn.net/weixin_40873462/article/details/99979474

版权

本文详细介绍了如何将本地（Windows）的任意格式数据，如JSON，导入到Hive表中。首先，通过读取文件、正则处理和格式转换生成适合Hive的文本文件，接着将文件上传到Linux服务器并检查编码，最后在Hive中创建表，将数据文件移动到Hive的HDFS路径，实现数据入库。

摘要由CSDN通过智能技术生成

重要说明：

1、本地文件理论上可以是任意格式的数据(.txt , .json , 字符串...)

2、过程完全可以复用(同种类型问题)

数据源示例：json格式数据

[
    {
        "cityId": 19,
        "cityName": "北京",
        "province": "北京",
        "shortWord": "B",
        "pinyin": "beijing"
    },
    {
        "cityId": 258,
        "cityName": "上海",
        "province": "上海",
        "shortWord": "S",
        "pinyin": "shanghai"
    },
    {
        "cityId": 46,
        "cityName": "广州",
        "province": "广东",
        "shortWord": "G",
        "pinyin": "guangzhou"
    },
...

]