使用Hive向Elasticsearch中导入数据时报错

最新推荐文章于 2022-05-26 17:05:59 发布
最新推荐文章于 2022-05-26 17:05:59 发布
阅读量603 收藏
点赞数
文章标签： hive 大数据 elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Championers/article/details/112141416
版权

问题描述：

使用Hive向ElasticSearch中导入数据时报错
org.elasticsearch.hadoop.rest.EsHadoopNoNodesLeftException: Connection error (check network and/or proxy settings)- all nodes failed;
在这里插入图片描述

原因分析：

网上大部分是说可能是由于ES集群性能不足

解决方案：

建立Hive外部表时添加上

'es.nodes.wan.only'='true'

亲测有效！

Championers
关注
Elasticsearch-Hadoop的使用问题总结
weixin_43272605的博客
02-06 3万+
scala – Elasticsearch-Hadoop库无法连接到docker org.elasticsearch.hadoop.rest.EsHadoopNoNodesLeftException: Connection error (check network and/or proxy settings)- all nodes failed; tried [[172.17.0.2:9...
DAY32 hive导入文件报错
AK_HuangYC的博客
01-26 2142
hive sequencefile导入文件遇到FAILED: SemanticException Unable to load data to destination table. Error: The file that you are trying to load does not match the file format of the destination table.错误 原因
Windows下elasticsearch插入数据报错！
xingoo
08-06 278
　　按照官方文档操作，但是windows下有些不同，它不认识单引号'，因此如果这样操作，就会报错： C:\Users\neusoft>curl localhost:9200/b1/b2/1 -d {"name":"fdafa"} {"error":"MapperParsingException[failed to parse]; nested: JsonParseExcep...
hive写入ES报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
Adnerly的专栏
05-30 1181
HIVE整合ES场景： ES版本：6.5.2 hive版本：2.3.4 插件包下载地址：https://repo.maven.apache.org/maven2/org/elasticsearch/elasticsearch-hadoop-hive/ 整合过程网上很多资料，下载与自己ES版本匹配的插件包，然后将elasticsearch-hadoop-hive-6.5.2.jar拷贝到hive安装目录lib下。因为我的hive下已经有 commons-httpclient-3.0.1.jar文件了
hive分区表一次性导入ElasticSearch报错
weixin_43854495的博客
05-26 496
hive分区表一次性导入ElasticSearch： 关键字 EsStorageHandler IndexOutOfBoundsException 工作中总会碰到Hive数据导入ElasticSearch，可以写Spark程序读Hive表，再写入ES中。同样，ElasticSearch官方也提供了一个工具，elasticsearch-hadoop.jar工具包，在hive程序中引入该包，就可以创建表与ES相关联，向该表中导入数据，数据就会存入ES中 问题描述 提示：写入过程中报错 IndexOutOfBo
hive 写 es 报EsHadoopRemoteException: index_closed_exception: closed null
ZMC921的博客
11-16 823
错误由来，es添加xpack后，hive写es总报 index关闭。通过测试，其实数据是可以写入index，且数据量对不上，怀疑是最后提交的时候无法成功，一直提交刷新，最后报错。 Status: Failed Vertex failed, vertexName=Map 1, vertexId=vertex_1605086559607_0014_1_00, diagnostics=[Task failed, taskId=task_1605086559607_0014_1_00_000035, diagn
Hive2ElasticSearch
anti
09-28 3521
Hive2ElasticSearch目标是将hive数据导入到es中。 起初通过读hive中的表文件使用bulk api来向es推数，但是效率太低，满足不了大数据的需求。 后来发现es官方提供了解决方案es-hadoop。在此记录一些使用中遇到的问题。ES-hadoop为elasticsearch提供了一个hive存储处理器（Hive storage handler），使开发人员可以直接定义一个
基于linux系统安装hadoop+zk+flume+kafka+mysql+hive+redis+es+Rmq+hbase+spark+storm+azkaban
weixin_43432597的博客
11-19 767
基于linux系统安装hadoop+zk+flume+kafka+mysql+hive+redis+es+Rmq+hbase+spark+storm+azkaban 安装zookeeper （1）解压zookeeper安装包（/opt） #tar -zxvf zookeeper-3.4.7.tar.gz （2）将zookeeper解压包移到/usr/house/zookeeper下 mv ...
【Hive报错】FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
debimeng
12-13 2343
【场景】 在hive3.1版本下执行以下语句报错 --加载数据到桶表u_demo_bk中 insert into table u_tab_bk_p select * from u_tab; 可是插入到普通表和分区表的语句是能正常执行的。 【原因】 最后才知道是因为资源不足的问题，可是这数据量又不大，有可能hive的机制有关，本来它的场景就是为了解决大数据的问题。 【解决】 最后在主节点修改了yarn-site.xml文件，添加一个参数，即：关闭虚拟内存的检测，最后完整的内容如下： <co
datax 持续数据同步_DataX数据同步
weixin_39916355的博客
12-21 848
因为选择了ElasticSearch做全文检索，需要把数据从数据库同步到es，此处选择开源方案DataX作为数据同步工具。官方文档很详细，可以直接参考。DataXDataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。下载安装因为编译好的版本里面不包含elasti...
DataHub: 现代数据栈的元数据平台的入门体验及填坑记录
penriver的博客
01-29 5713
DataHub是为现代数据栈【Modern Data Stack】构建的第三代元数据平台，支持数据发现、协作、治理和端到端可观察性。DataHub采用模型优先的理念，专注于解锁不同工具和系统之间的互操作性。 本文首先针对DataHub的架构及组成部分进行讲解，然后采用快速安装的方式进行部署，并摄取样例元数据 及 MySQL的元数据到Datahub，最后演示在前端界面如何 查看元数据及血缘。并对期间碰到的问题及如何解决的进行了梳理总结。
使用ES-Hadoop插件通过Hive查询ES中的数据
Meyao's Blog
04-20 3745
本来是想既然可以通过es-hadoop插件用hive查询es的数据，为啥不能用impala来做分析呢； 结果是hive查es成功了，impala查询不了，悲剧，但还是记录一下过程中遇到的问题，特别是日期格式转换那里搞了好久。 安装： 下载地址：https://www.elastic.co/cn/downloads/hadoop 找对应或高于自己es的版本即可 下载下来其实是一堆jar包 ...
关于spark连接elasticSearch集群失败问题Connection error (check network and/or proxy settings)- all nodes faile
a1031891160的博客
06-20 4919
在用spark 向elasticSearch集群写入数据时爆出  Connection error (check network and/or proxy settings)- all nodes faile   的错误  这个错误是未能连接到elasticSearch集群的一个错误，要排除这个错误1.检查elasticSearch集群是否可用 使用JPS查看2 .查看代码中的端口是否与elast...
Caused by: org.elasticsearch.hadoop.EsHadoopIllegalArgumentException
DPnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnice的博客
05-10 6507
Caused by: org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot determine write shards for [index/type]; likely its format is incorrect (maybe it contains illegal characters?)
Elasticsearch常见错误及解决方法
热门推荐
漫天雪_昆仑巅
05-08 2万+
Elasticsearch常见错误及解决方法： 1、启动时候报错：Caused by: java.net.BindException: Cannot assign requested address解决方法：打开配置文件elasticsearch.yml 将 network.host: 192.168.0.1 修改为本机IP 0.0.0.0 [2020-04-03T19:41:11,382]...
hive向ES中插入数据量过大时出错：HTTP content length exceeded 104857600 bytes.
ly_521015的博客
03-12 3022
elasticsearch 的版本号：2.4.1 当使用下面命令导入文件（文件大小超过100M）时，以及hive向ES中插入数据量过大时出错： 错误信息： org.jboss.netty.handler.codec.frame.TooLongFrameException: HTTP content length exceeded 104857600 bytes. at org.jboss.nett...
hive中向表employee中导入数据
最新发布
05-31
在Hive中向表employee导入数据，可以通过以下步骤完成： 1. 创建表employee，如果表已经存在，可以跳过这一步。 ``` CREATE TABLE employee ( emp_id INT, emp_name STRING, emp_salary DOUBLE ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` 2. 准备好要导入的数据文件，例如employee.txt，其中每行数据对应表的一条记录。数据文件的格式和表定义中的ROW FORMAT和FIELDS TERMINATED BY要一致。 3. 将数据文件上传到HDFS上，例如上传到/user/hive/warehouse目录下： ``` hadoop fs -put employee.txt /user/hive/warehouse/ ``` 4. 执行LOAD DATA语句将数据导入表中： ``` LOAD DATA INPATH '/user/hive/warehouse/employee.txt' INTO TABLE employee; ``` 注意事项： - 如果数据文件中包含了表中不存在的列，则这些列的值会被忽略。 - 如果数据文件中的列数和表定义中的列数不一致，则会导致导入失败。 - 如果数据文件中的某些字段需要进行类型转换，则可以在LOAD DATA语句中使用CAST关键字。 - 如果数据文件中的字段顺序和表定义中的字段顺序不一致，则可以在LOAD DATA语句中使用SELECT子句指定字段顺序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值