hive es java_hive创建ES外部表过程中的问题

最新推荐文章于 2023-11-30 11:19:24 发布
最新推荐文章于 2023-11-30 11:19:24 发布
阅读量1.3k 收藏 1
点赞数
文章标签： hive es java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42656416/article/details/114565446
版权
在使用Hive连接到ES的过程中，遇到包括缺少jar包（如commons-httpclient和eshadoop）的错误，以及创建ES外部表后查询失败的问题。解决方法包括添加相应jar包，如commons-httpclient-3.1.jar和elasticsearch-hadoop-7.6.1.jar，并在建表语句中指定'es.nodes.wan.only'='true'以处理keystore位于HDFS上的情况。此设置避免了节点发现，确保通过指定节点进行读写，但可能影响性能。参考资源包括官方文档和博客文章。
摘要由CSDN通过智能技术生成

一、缺少jar包：httpclient

报错：

"HiveServer2-Handler-Pool: Thread-696" java.lang.NoClassDefFoundError: org/apache/commons/httpclient/protocol/ProtocolSocketFactory

需要加载commons-httpclient-3.1.jar

二、缺少jar包：eshadoop

报错：

FAILED: SemanticException Cannot find class 'org.elasticsearch.hadoop.hive.EsStorageHandler'

需要加载与正在使用的ES版本相同的版本号的：elasticsearch-hadoop-7.6.1.jar

三、在hive创建ES外表之后无法正常查询

报错：

Error: java.io.IOException: org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Expected to find keystore file at [hdfs:///path/to/esh.keystore] but was unable to. Make sure that it is available on the classpath, or if not, that you have specified a valid file URI. (state=,code=0)

这里使用的是将keystore放在hdfs上的方式，

在建表语句中需要指定属性：'es.nodes.wan.only'='true',

具体解释࿱

最低0.47元/天 解锁文章
四散
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive数据写入ES报错
曹健的博客
07-02 2756
使用插件，将hive中的数据存入ES，在向映射表中更新数据的时候报错： FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched: Stage-Stage-3: Map: 1 Reduce: 1 Cumulative CPU: 4...
hive es java_使用 Hive 读写 Elasticsearch 中的数据，发现读取数据报错？？？？
weixin_29006701的博客
03-04 282
在hive创建的基于ES的外部表，发现查询外部表报错，如下所示：hive> select * from t_push_es_khsx;OKException in thread "main" java.lang.Error: Multiple ES-Hadoop versions detected in the classpath; please use only onejar:file:/...
Hive基于ES的外部表使用
shengpli′s blog
07-01 3780
一、配置依赖jar 1.临时生效 启动HIVE CLI后，ADD JAR /path/elasticsearch-hadoop-xxx.jar; 或 bin/hive --auxpath=/path/elasticsearch-hadoop-xxx.jar 或 bin/hive -hiveconf hive.aux.jars.path=/path/elasticsearch-hadoop-xxx....
创建hive连接es的表
u011076848的专栏
08-18 725
-- 查看es版本 curl --user elastic:BAGNimgiGBIE5Isu -XGET 'http://es-cn-oew1zs37s000a3616.elasticsearch.aliyuncs.com:9200' drop table ods.ods_jhff_contentpool_es; add jar hdfs://emr-cluster/es/elasticsearch-hadoop-hive-7.7.1.jar; CREATE EXTERNAL TABLE if not e
es和hive外部表映射
qq_34009542的博客
08-25 1007
CREATE EXTERNAL TABLE `dws.外表name`( `id` string COMMENT 'from deserializer', `create_by` string COMMENT 'from deserializer', `create_at` timestamp COMMENT 'from deserializer', `update_by` string COMMENT 'from deserializer', ...
项目实战——Spark将Hive表的数据写入ElasticSearch（Java版本）
10-24
在本项目实战中，我们将探讨如何使用Java编程语言，结合Spark和Hive，将Hive中的数据高效地导入到ElasticSearch（ES）中，并利用ES的别名机制实现数据更新的平滑过渡。以下是对这个流程的详细解析： 1. **Hive数据...
hive_elasticsearch_sql面试_大数据面试文档.rar
11-27
2. **Hive表的类型**：内部表、外部表、分区表、桶表的区别和应用场景。 3. **HQL语法**：如SELECT、FROM、WHERE、GROUP BY、JOIN等基本操作。 4. **Hive的优化**：如减少shuffle操作、使用mapjoin、优化join策略、...
hive中定义的复杂数据类型导入到es中问题总结.doc
最新发布
03-05
### Hive中的复杂数据类型导入至Elasticsearch (ES) 的问题总结 #### 一、背景介绍 在大数据处理领域，Apache Hive 和 Elasticsearch (ES) 是两种非常重要的工具。Hive 主要用于对存储在 Hadoop 文件系统 (HDFS) 中...
项目实战——钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量（Java版本）
10-24
因为你不知道将Hive的数据导入到了ElasticSearch后，数据量是否准确，所以需要钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量，注意，这个项目打包后，最好另起一个进程调用，并且开始时间为文章1或者2最大...
Hive+经纬度+数据导入ES
03-04
这里我们创建了一个名为`es_mapping.app_enterprise_business_tags_es1222`的外部表，其中包含了与Elasticsearch对应的字段类型。 ```sql CREATE EXTERNAL TABLE `es_mapping.app_enterprise_business_tags_es1222`...
可用org.apache.commons.httpclient-3.1.0.jar.zip
05-27
包含 import org.apache.commons.httpclient.HttpClient; import org.apache.commons.httpclient.HttpException; import org.apache.commons.httpclient.HttpStatus; import org.apache.commons.httpclient.methods.PostMethod; import org.apache.commons.httpclient.methods.multipart.FilePart; import org.apache.commons.httpclient.methods.multipart.MultipartRequestEntity; import org.apache.commons.httpclient.methods.multipart.Part; import org.apache.commons.httpclient.methods.multipart.StringPart; import org.apache.commons.httpclient.protocol.Protocol; import org.apache.commons.httpclient.protocol.SSLProtocolSocketFactory; import org.apache.commons.httpclient.util.HttpURLConnection;
hive中的数据导入到ES中时数据校验出错,怎么解决?
big data的博客
06-06 148
数据同步时,由于资源不足,task有被kill,重新构建task导数据时,导致数据重复插入, 插入数据时documentid又赋予了新的,导致重复。
hive：与es交互：hive on es（外联表）
不花的花和尚的博客
11-01 5806
hive整合es，通过建外联表做映射，数据实际存储在es。注意：hive建内部表时数据存储在hdfs，与es建外联表时，数据存储在es里。 创建表语句demo： CREATE EXTERNAL TABLE `es.test`( `id` string, `keyword` string, `tenderId` bigint, `update_time` string, ...
Hive里面添加外部表访问ES的数据
action825的博客
07-23 1366
在Hive里面添加外部表访问ES的数据 add jar /home/dp/xx/elasticsearch-hadoop-6.4.1.jar; add jar /home/dp/xx/commons-httpclient-3.1_1.jar; drop table xxx_tmp.es_ods_extdata; CREATE EXTERNAL TABLE xxx_tmp.es_ods_extdata( id string, applseq string, remark1 string, cardnumber
hive写入ES报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
Adnerly的专栏
05-30 1144
HIVE整合ES场景： ES版本：6.5.2 hive版本：2.3.4 插件包下载地址：https://repo.maven.apache.org/maven2/org/elasticsearch/elasticsearch-hadoop-hive/ 整合过程网上很多资料，下载与自己ES版本匹配的插件包，然后将elasticsearch-hadoop-hive-6.5.2.jar拷贝到hive安装目录lib下。因为我的hive下已经有 commons-httpclient-3.0.1.jar文件了
Hive SQL DDL 内外部表、分区表、分桶表
pljnb的博客
02-05 496
Hive SQL DDL 内外部表、分区表、分桶表
ELK系列(十三)、在Hive中操作ES的索引数据，创建/查询/更新/插入
王义凯 的博客
06-04 4894
本篇介绍如何在hive中查询、更新、插入ES数据，以及把数据从hive导入到es中。本方案适用于任何hive可以挂外表的数据库类型。 ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0 ELK系列(二)、在Kibana中使用RESTful操作ES库 ELK系列(三)、安装Logstash插件及打包离线安装包 ELK系列(四)、Logstash读取nginx日志写入ES中 ELK系列(五)、Logstash修改@timestamp时间为日
hive创建ES外部表过程中的问题
大数据知识梳理
11-30 456
其意思也就是通过公网 ，我访问云上或者一些限制性网络上的ES实例时，如AWS，通过声明该配置就会禁用发现其它节点的行为，后续的读和写都只会通过这个指定的节点进行操作，增加了该属性就可以访问云上或者受限制网络中的ES，但是也因为读写都是通过这个节点，因而性能上会受到比较大的影响。需要加载与正在使用的ES版本相同的版本号的：elasticsearch-hadoop-7.6.1.jar。在建表语句中需要指定属性：‘es.nodes.wan.only’=‘true’,二、缺少jar包：eshadoop。
Hive学习笔记（5）—— hive分桶
一角残叶的博客
09-04 295
1 注意 order by 会对输入做全局排序，因此只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 sort by不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个reducer的输出有序，不保证全局有序。 distribute by(字段)根据指定的...
项目实战——spark将hive表的数据写入elasticsearch（java版本）
06-28
这个项目实战的目标是使用Java版本的Spark将Hive表的数据写入Elasticsearch。具体步骤如下： 1. 首先，需要在Spark中创建一个JavaSparkContext对象，并且设置相关的配置，比如Elasticsearch的地址和端口号等。 2. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值