本文总结了在Hive中处理复杂数据类型如array<structcode:string,score:bigint>导入Elasticsearch（ES）时遇到的问题及解决方案。首先介绍了使用ES-Hadoop组件进行数据同步的步骤，包括下载对应版本的组件、上传至HDFS、添加到Hive库，并特别提醒了避免使用冲突的jar包。然后，展示了如何在Hive中创建映射表，并提供了插入数据时的配置注意事项，如'es.write.operation'=‘upsert’和'es.mapping.id'=‘id’等字段映射配置。"
6170442,643027,FFmpeg-devel：弃用SAMPLE_FMT_S24,"['音视频编解码', 'FFmpeg', '编程', '开源项目']
Hive复杂数据类型：array<structcode:string,score:bigint>,将如下数据导入到ES中。
ES中复杂字段类型定义如下：
“huiZhanTags”: { “type”: “nested”, “properties”: { “code”: { “type”: “keyword” }, “score”: { “type”: “integer” } } }
思路1：使用ES 自带数据同步工具-ES-Hadoop组件
步骤1：去es的官网上下载ES-Hadoop组件
https://www.elastic.co/downloads/past-releases#elasticsearch
在输入框中输入es-hadoop，在version版本处找到和你es相同的版本即可
1006
4724
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
超级会员免费看
订阅专栏 解锁全文
扫一扫
