Hive集成ElasticSearch

最新推荐文章于 2023-06-13 11:13:56 发布

fengfengzai0101

最新推荐文章于 2023-06-13 11:13:56 发布

阅读量538

点赞数 1

分类专栏： Hive 文章标签： hive elasticsearch

本文链接：https://blog.csdn.net/fengfengzai0101/article/details/107629432

版权

本文介绍了如何在Centos7上运行CDH5.16.2集群环境中，将Hive与ElasticSearch集成。通过添加elasticsearch-hadoop.jar到Hive的classpath，创建表并进行映射，实现数据从Hive写入和读取ElasticSearch。注意Es的大小写敏感性和Hive的NULL值处理，以及如何设置文档ID和处理动态/多资源的写入。

摘要由CSDN通过智能技术生成

环境

操作系统：Centos7
集群：CDH5.16.2

安装

将elasticsearch-hadoop.jar添加到hive的classpath路径中

方法1（此方法支持HDFS路径）

add jar /path/elasticsearch-hadoop.jar;

方法2（使用配置）

bin/hive -hiveconf hive.aux.jars.path=/path/elasticsearch-hadoop.jar

方法3（使用hive-site.xml配置文件）
```
<property>
  <name>hive.aux.jars.path</name>
  <value>/path/elasticsearch-hadoop.jar</value>
  <description>A comma separated list (with no spaces) of the jar files</description>
</property>
```

创建表

CREATE EXTERNAL TABLE artists (...)
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'
TBLPROPERTIES('es.resource' = 'radio/artists',
              &#

最低0.47元/天解锁文章

fengfengzai0101

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
Hive集成ElasticSearch

环境操作系统：Centos7集群：CDH5.16.2安装将elasticsearch-hadoop.jar添加到hive的classpath路径中方法1（此方法支持HDFS路径）add jar /path/elasticsearch-hadoop.jar;方法2（使用配置）bin/hive -hiveconf hive.aux.jars.path=/path/elasticsearch-hadoop.jar方法3（使用hive-site.xml配置文件）<property&
复制链接

扫一扫