本文介绍了如何将Hive数据同步到Elasticsearch（ES）的过程。首先，需要下载elasticsearch-hadoop的jar包，并将其放在Hadoop的jars目录下。接着，在Hive中创建与ES匹配的表结构。然后，通过插入Hive表的数据来实现同步。在遇到错误时，可能需要添加commons-httpclient-3.0.1.jar到Hive环境。最后，可以通过ES的资源名查看已同步的索引。
目录
1.相关jar包
elasticsearch-hadoop-5.5.1.jar 下载地址：http://download.elastic.co/hadoop/
到官网下载与ES一致的版本，比如ES版本是5.5.1，则下载elasticsearch-hadoop-5.5.1.zip
jar包就在压缩包dist目录中。
2.添加jar包到hive中
2.1 放置jar到hadoop
如下是放到hadoop根目录的jars目录下
[hadoop@master lib]$ hadoop fs -put elasticsearch-hadoop-5.5.1.jar /jars/
2.2 创建hive表
语法参考https://www.elastic.co/guide/en/elasticsearch/hadoop/current/hive.html
可根据版本查看
CREATE TABLE `emptoes2`( 
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
