hive访问es的问题

最新推荐文章于 2022-10-22 09:26:18 发布
最新推荐文章于 2022-10-22 09:26:18 发布
阅读量212 收藏
点赞数
文章标签： 大数据
原文链接：http://www.cnblogs.com/gitgub/p/8514460.html
版权

问题 hive访问es

一个普通的count(*)操作开启一个mr任务进度，总是停留在5%

 

查看该job一共启动5个task

选择一个进入

发现把任务分发到不同的节点

查看日志

发现是三台es集群的9200端口没有对相应机器开放

转载于:https://www.cnblogs.com/gitgub/p/8514460.html

dbdlz48088
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive与es之间实现数据交互
xuguokun1986的博客
03-26 1万+
1、环境描述： hadoop集群环境：hadoop-2.6.0；3台集群环境 hbase集群环境：habase-1.1.2 ；3台集群环境 hive环境：hive-1.2.1；1台测试环境 elasticsearch：elasticsearch-1.7.1测试环境 2、下载hive与es之间数据交互的插件。 说明：如果用ElasticSearch版本为2.1.0，必须使用elastic
hive关于ES的配置
YouAreLion的博客
05-08 700
首先在本地服务器放上，/home/yourname/elasticsearch-hadoop-5.2.0.jar 试试hdfs dfs -put elasticsearch-hadoop-5.2.0.jar /tmp/ 然后在hql文件头加上add jar file:/home/xieyulong/elasticsearch-hadoop-5.2.0.jar ; ok....
Hadoop内hive之间，hive与DB、ES等之间数据交互的问题与解决方案
mrleeapple的专栏
09-09 959
之前做大数据处理，经常遇到各种问题。很多时候是项目作业简单项配置问题，也可能是导入导出参数配置的问题，也可能是公司Hadoop平台的问题。那么如何排查问题，解决问题？这种事情，除了自己要积累一些大数据的知识和技能外，也需要一些获得一些排查问题的技巧、方法。
Hive与ES集成过程，错误记录
等夏天
12-03 2896
一、基础准备 1，查看es对应版本，下载版本号一样的jar包， 测试环境用的es7.8.0 下载地址https://jar-download.com/artifacts/org.elasticsearch/elasticsearch-hadoop-hive 2，将下载好的jar包elasticsearch-hadoop-hive-7.8.0.jar上传到hdfs中 放在存储hive udf的目录下。 3，引入jar包 先查看已经引入的jar包有哪些 list ja..
Maven中同时使用CDH 的hive与ElasticSearch(ES) 内部依赖的netty jar冲突的问题
yushuai_IT的博客
01-16 1284
1、场景描述 因业务场景需要连接hive及ES,所以项目中需要整合这两项，那么在整合中遇到了jar包冲突的问题，项目是用的是Maven工程，hive 是用的CDH中的。 2、pom文件 中引用的hive及ES如下 <!-- hadoop 2.6.0 && cdh 5.13.3 --> <dependency> <groupId>org...
使用hive访问elasticsearch的数据
Ran
01-01 9767
使用hive访问elasticsearch的数据
hive读取elasticsearch中的数据
weixin_34302798的博客
11-14 406
2019独角兽企业重金招聘Python工程师标准>>> ...
hive与es交互bug
喜上眉梢
11-09 5367
hive与es交互bug 一、hive数据写入es,hive查询报错（貌似不能查询） Bad status for request TFetchResultsReq(fetchType=0, operationHandle=TOperationHandle(hasResultSet=True, modifiedRowCount=None, operationType=0, opera
hive读取es数据
clearlove_lbx的博客
12-14 2217
参考： hive读写es数据 http://blog.csdn.net/u013063153/article/details/60757307 官方文档 hive集成es https://www.elastic.co/guide/en/elasticsearch/hadoop/current/hive.html#hive-type-convers...
hive：与es交互：hive on es（外联表）
不花的花和尚的博客
11-01 5770
hive整合es，通过建外联表做映射，数据实际存储在es。注意：hive建内部表时数据存储在hdfs，与es建外联表时，数据存储在es里。 创建表语句demo： CREATE EXTERNAL TABLE `es.test`( `id` string, `keyword` string, `tenderId` bigint, `update_time` string, ...
Hadoop集群中增加与ElasticSearch连接的操作
冯立彬的博客
05-28 6373
    在没有引入elasticsearch-hadoop-xxx.jar相应的Jar包时，的在Hive中执行ElasticSearch外部表操作，会报如下的异常：        Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocol...
CDH环境部署Elasticsearch集群
Rio.的博客
05-17 4808
1.环境说明 1.1、linux系统（我这里是centos6.8） 1.2、jdk（我这里安装的Java1.8版本） 1.3、hadoop平台（我这里使用的cdh搭建的，hive版本为1.1.0） 2.安装单节点ES 2.1、下载es安装包，去https://www.elastic.co/cn官网下载，因为最新更新到7X版本，所以这里选择6X最后一个版本Elasticsearch 6.7.2下载，...
Hive数据导入ES的各种坑
sydt2011的博客
11-08 4398
1.mapper数量 无论什么博客还是官网，一直强调控制写入ES的mapper数量，那怎么控制mapper的数量？ 1）源表的分区数目 因为 mapred.min.split.size  ， mapred.max.split.size ， dfs.block.size splitSize =  Math.max(minSize, Math.min(maxSize, blockSize...
关于hive与es整合遇到的问题
qq_40651753的博客
01-26 2084
1、 Error while compiling statement: FAILED: SemanticException Generate Map Join Task Error: Unable to find class: org.elasticsearch.hadoop.hive.EsHiveInputFormat Serialization trace: inputFileFormatC...
搞定hive读取ES表
euler1983的专栏
06-17 888
最近的项目中用hive作为数仓工具，并用pyspark进行数据处理。 后来需要进行一些前端展示，发现检索数据实在是太慢了，尤其是还要进行一些toPandas()的操作，来把
ElasticSearch9200端口未授权访问漏洞修复
最新发布
weixin_55083278的博客
10-22 3298
ElasticSearch 默认情况启动此服务会开放HTTP-9200端口，可被非法操作数据，属于高危漏洞
hive数据写入ES报错
曹健的博客
07-02 2750
使用插件，将hive中的数据存入ES，在向映射表中更新数据的时候报错： FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched: Stage-Stage-3: Map: 1 Reduce: 1 Cumulative CPU: 4...
关于es映射hive导入其他表问题解决
weixin_41015768的博客
04-20 310
昨天通过向技术大佬咨询原因是我执行引擎的问题 mr执行引擎 set hive.execution.engine=mr; spark执行引擎 set hive.execution.engine=spark; tez执行引擎 set hive.execution.engine=tez; ...
解决因hive表锁表，导致无法进行查询、删除等操作问题（实测，已解决）
lukabruce的博客
05-05 9440
正常登录hive数据库 发现其中test表无法操作，连基本的desc test命令都处于卡机状态，查询之后发现，原来是表被锁住了。因此，结合网上查询的一些方法，进行总结如下： // 报错 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Current transa...
hive es java_hive创建ES外部表过程中的问题
weixin_42656416的博客
02-24 1343
一、缺少jar包：httpclient报错："HiveServer2-Handler-Pool: Thread-696" java.lang.NoClassDefFoundError: org/apache/commons/httpclient/protocol/ProtocolSocketFactory需要加载commons-httpclient-3.1.jar二、缺少jar包：eshadoop...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值