使用ES-Hadoop进行Hive和ES数据同步

最新推荐文章于 2024-08-08 13:06:49 发布
最新推荐文章于 2024-08-08 13:06:49 发布
阅读量856 收藏 2
点赞数
文章标签： hadoop elasticsearch hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nxcjh321/article/details/125207846
版权
本文介绍了如何在Hadoop、Hive和Elasticsearch环境中，使用ES-Hadoop进行数据同步。详细阐述了环境配置、操作步骤及遇到的常见错误，如大小写不敏感问题、缺失的Credentials类、无法检测ES版本和ClassCastException，并提供了相应的解决办法。总结指出，Hive的创建、删除和修改仅影响Hive层面，对ES需独立操作以确保数据一致性。
摘要由CSDN通过智能技术生成

一、环境说明

Elasticsearch 7.10.0

Hive 3.1.2

Hadoop 3.X

二、操作步骤

  1. 下载ES-Hadoop安装包，其版本需要与Elasticsearch实例保持一致，下载地址：https://www.elastic.co/cn/downloads/
    在这里插入图片描述

​ 本文中下载的是 ：elasticsearch-hadoop-7.10.0.zip
在这里插入图片描述

  1. 解压已下载的elasticsearch-hadoop-7.10.0.zip，并将elasticsearch-hadoop-hive-7.10.0.jar上传至大数据集群
    比如我将jar包上传至hdfs的/user/hive/elastic/目录下：
#创建目录：
hdfs dfs -mkdir /user/hive/elastic
#上传jar包
hdfs dfs -put elasticsearch-hadoop-hive-7.10.0.jar /user/hive/elastic/
#查看
hdfs dfs -ls /user/hive/elastic
  1. hive添加jar 引用
hive>add jar hdfs://cluster/user/hive/elastic/elasticsearch-hadoop-hive-7.10.0.jar;

在这里插入图片描述

  1. 创建外部表
CREATE TABLE  ods.ods_es_hive_da (
  id  bigint ,
  createdtime bigint,
  customerdrugname string,
  customerhciname string,
  drugname string
最低0.47元/天 解锁文章
小狼躲藏
关注
hive 同步数据到ES
let it go的博客
06-20 2277
1.相关jar包 elasticsearch-hadoop-5.5.1.jar 下载地址：http://download.elastic.co/hadoop/ 到官网下载与ES一致的版本，比如ES版本是5.5.1，则下载http://download.elastic.co/hadoop/elasticsearch-hadoop-5.5.1.zip jar包就在压缩包dist目录中。 2.添加jar包到hive中 2.1 放置jar到hadoop 如下是放到hadoop根目录的jars目...
ES复杂类型数据同步到HIVE数仓
欲望以提升热忱 毅力以磨平高山
06-29 1446
有很多种情况下需要将ES的数据同步到hive数仓中进行分析，在此记录下在此过程中遇到的问题。 1、环境说明 ES Version: 7.2.1 Hadoop Version: 3.0.0 elasticsearch-hadoop-7.2.1.jar 2、ES的数据示例 "time" : "2020-06-28T00:24:55+0800", "documentId" : "d458d964-1b92-45da-8aff-0ae57331310d", "les
elasticsearch数据同步到hive
xiaoliizi的博客
06-13 2605
一次用户数据的处理过程
使用es-hadoop同步hive和es之间数据
最新发布
weixin_72499901的博客
08-08 1280
💻近期在华为云连接es时的时候发现不能输入账号密码，后面联系华为工程师了解到，华为云默认是非安全模式，即不需要输入账号密码。解决方案，如下：前言ES-Hadoop 是 Elastic 官方推出的一个用于对接 Hadoop 生态的工具，使得用户可以使用 Mapreduce(MR)、Spark、Hive 等工具处理 ES 上的数据。众所周知，Hadoop 生态的长处是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析时，查询时延会比较长。
ES-HIVE数据互通
12-27
实现elasticsearch与hive数据互通 环境 实验性单节点集群 vagrant.linux16.4.4(无doctor) hive2.3.3+beeline es6.2.2 kibana6.2.2 elasticsearch-hadoop-6.2.2.jar 没有doctor
es导出mysql,Hive与es数据的导入和导出
weixin_30481539的博客
03-19 292
1. 将两个jar包添加到Hive的 hive.aux.jars.path目录org.elasticsearchelasticsearch-hadoop6.6.2commons-httpclientcommons-httpclient3.1在hive中创建es索引的外联表create external table charge_current_frequency_es(province ...
通过ES-Hadoop实现Hive读写Elasticsearch数据
Cloud Tech的博客
09-30 2169
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。本文介绍如何通过ES-Hadoop实现Hadoop的Hive服务读写Elasticsearch数据。 Hadoop生态的优势是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析时，查询时延会比较长。而Ela
elasticsearch-hadoop-hive-2.3.4.jar包下载
03-22
elasticsearch-hadoop-hive-2.3.4.jar包下载
elasticsearch-hadoop-8.8.0
06-06
- **Hive和Pig支持**：对于使用Hive和Pig进行大数据处理的用户，Elasticsearch-Hadoop提供了适配器，使得这两个工具能与Elasticsearch进行交互。 在"elasticsearch-hadoop-8.8.0"这个版本中，可能包含以下改进和新...
elasticsearch 与hadoop 相关的jar
04-01
包含 elasticsearch-hadoop-6.6.1.jar elasticsearch-hadoop-hive-6.6.1.jar elasticsearch-spark-20_2.11-6.6.1.jar elasticsearch-storm-6.6.1.jar 等
ElasticSearch数据导入Hive
珊瑚海的博客
05-06 9787
从ES往hive中导入数据其实有很多方式，最基本的方法就是用es-java-api获取数据然后导入到hdfs中，就完了。但这种方式太过复杂，且通用性不高。 下面介绍一种方便的导入方式： 需要用到ES-hadoop插件： 第一次需要安装插件：   下载地址：https://github.com/elasticsearch/elasticsearch-hadoop#readme add上面的
python读取es数据库数据并导入hive
weixin_45621200的博客
10-20 1543
最近公司需要从es数据库导入到数仓，记录一下遇到的坑。还是蛮多的。首先是用到的库 import csv import threading import time import logging import traceback from datetime import datetime, timedelta import pandas as pd from elasticsearch import Elasticsearch from hdfs.client import InsecureClient fr
ElasticSearch-Hadoop：从Hadoop到ElasticSearch的产品视图计数索引和客户顶部搜索查询...
最佳 Java 编程
05-17 200
这篇文章涵盖了如何使用ElasticSearch-Hadoop从Hadoop系统读取数据并在ElasticSearch中对其进行索引。 它涵盖的功能是在最近n天中为每个客户的产品浏览量计数和热门搜索查询编制索引。 分析的数据可以进一步在网站上使用，以显示最近浏览过的客户，产品浏览次数和热门搜索查询字符串。 继续之前的文章 客户产品搜索使用大数据进行点击分析 ， Flume：使用...
使用ES-Hadoop插件通过Hive查询ES中的数据
Meyao's Blog
04-20 3724
本来是想既然可以通过es-hadoop插件用hive查询es的数据，为啥不能用impala来做分析呢； 结果是hive查es成功了，impala查询不了，悲剧，但还是记录一下过程中遇到的问题，特别是日期格式转换那里搞了好久。 安装： 下载地址：https://www.elastic.co/cn/downloads/hadoop 找对应或高于自己es的版本即可 下载下来其实是一堆jar包 ...
Hive数据同步到ES
weixin_42529806的博客
10-16 1344
文章目录Hive2Es需求准备工作-集群准备工作-数据Hive编码服务器部署 Hive2Es 需求 将Hive的user标签数据同步到ElasticSearch 每天生成一个index 将user_id作为文档id 准备工作-集群 Hadoop集群、Hive集群、Yarn集群（用的是CDH） Spark集群（用的是CDH） ElasticSearch集群（单独部署的） 准备工作-数据 Hi...
Hive 集成 ElasticSearch
XXXL___Huo的博客
08-03 889
hive建立映射表，将批量数据写入es
Elasticsearch-Hadoop连接器怎么安装
06-14
Elasticsearch-Hadoop (EH) 连接器是一个工具，它允许你使用Apache Hadoop MapReduce或Hive等框架与Elasticsearch进行数据交互。这个连接器使得大规模的数据处理和分析能够无缝地扩展到Elasticsearch中的非结构化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小狼躲藏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值