使用Datax将Hive(分区表)数据导入到Hbase

最新推荐文章于 2024-05-14 08:20:09 发布
最新推荐文章于 2024-05-14 08:20:09 发布
阅读量1.7k 收藏 4
点赞数
分类专栏： Datax 数据同步插件 文章标签： hbase hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pengdixi/article/details/113247626
版权

1. 限制

  • 要求版本为Phoenix5.x及HBase2.x
  • 仅支持通过Phoenix QeuryServer导入数据，因此您Phoenix必须启动QueryServer服务才能使用本插件
  • 不支持清空已有表数据
  • 仅支持通过phoenix创建的表，不支持原生HBase表
  • 不支持带时间戳的数据导入

2. 安装Datax

详情见官方文档：https://github.com/alibaba/DataX/blob/master/userGuid.md
注意：本教程分别使用了 ”hive读“、”Phoenix5.x写“，但是安装后的”plugin“中不包含 ”Phoenix5.x写“需要的插件：hbase20xsqlwriter，所以要重新编译安装对应插件：

[root@ttt ~]# git clone https://github.com/alibaba/DataX.git
Cloning into 'DataX'...
remote: Enumerating objects: 7, done.
remote: Counting objects: 100% (7/7), done.
remote: Compressing objects: 100% (7/7), done.
remote: Total 1657 (delta 1), reused 4 (delta 0), pack-reused 1650
Receiving objects: 100% (1657/1657), 11.55 MiB | 113.00 KiB/s, done.
Resolving del
最低0.47元/天 解锁文章
_猫屎不是咖啡_
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
详解hbase与hive数据同步
08-29
主要介绍了详解hbase与hive数据同步的相关资料,需要的朋友可以参考下
大数据开发之Hive表数据同步至HBase
m0_58371965的博客
01-10 1561
1. 背景 当我们需要从 Hive 或其他异构存储中往 HBase 里导入大批量数据的时候，走 HBase 原生 API 这种方式一定不是最合适的方案，一是数据同步的效率会比较低，大数据培训其次是数据的持续写入会导致集群频繁进行 flush，compaction 等操作，占用较多的系统资源，影响线上服务的正常读写，因此，为了应对海量数据导入的场景，bulkload 应运而生。 2. bulkload 介绍以及 HFile 生成的若干种方式 bulkload 的大致流程是，我们事先用程序把需要导入的数据
解决datax写入hdfs到hive查不到数据
最新发布
linweidong的专栏
05-14 352
命令可以查看到文件，但是在Hive中查询数据为空。atax写入到Hive表的过程中。datax日志显示成功，使用。把上面的表修改为非分区表，再次写入时果然有数据了。
datax同步oracle数据到hbase，hbase的rowkey使用hash生成
weixin_46005650的博客
05-15 807
其中，reader参数表示Oracle Reader插件的配置信息，包括Oracle数据库连接信息、要同步的表和列等；writer参数表示HBase Writer插件的配置信息，包括HBase数据库连接信息、要同步的表和列等；rowkeyColumn参数表示作为HBase行键的列名；rowkeyGenerateScript参数表示自定义脚本的路径。在DataX的作业文件中，需要配置Oracle Reader插件，指定Oracle数据库的连接信息、要同步的表和列等参数。自定义脚本生成hash rowkey。
Datax抽取hbase数据
柔情岁月的博客
11-07 5146
下载Datax 直接下载DataX工具包：DataX下载地址 解压并生成json模板： tar -zxvf datax.tar.gz [hdfs@192-168-16-71 datax]$ cd bin [hdfs@192-168-16-71 bin]$ ll total 40 -rwxrwxr-x 1 hdfs hdfs 8993 Nov 24 2017 datax.py -rwxrwx...
Clickhouse到HBase(Phoenix)数据导入 DataX
BOOLTechnology的博客
09-28 1320
DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 类型 数据源 Reader(读) Writer(写) 文档 RDBMS 关系型数据库 MySQL √ √ 读 、写 Oracle √ √ 读 、写 SQLServer √ √ 读 、写
hive与hbase之间数据的同步
木子陈的博客
11-13 3481
一、前言 数据同步是很多公司在做数据迁移时的一个痛点，当然互联网公司有自己的同步机制或者工具，但是困惑了我这几天的需求，还是没有得到解决，事已至此，来写这篇博客记录一下自己最近的研究成果。 二、如何同步 hive如何与Hbase直接实现数据同步呢，目前有两种方案： （一）hive关联hbase表的方式 1.适用场景 数据量不大4T以下(因为需要走hbase的api导入数据)； 2.连接方式 从hbase页面获取zk连接地址（http://hadoop102:16010），并用下述方式启动h.
datax数据从hive导入mysql数据缺失解决
01-18
datax数据从hive表导入mysql表,数据缺失解决
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
hive分区导入
04-21
在Hive中，分区是为了提高查询效率和管理大数据集的一种策略，通过将数据按特定的字段（如日期、地区等）划分为不同的子目录，使得用户在查询时能够定位到特定的数据部分，减少不必要的数据扫描，从而提升性能。...
DataX：通用数据采集工具，源自阿里巴巴DataX，增加了更多的读写插件，HDFS读写功能增强，支持Cassandra，ClickHouse，DBF，Hive，InfluxDB，Kudu，MySQL，Oracle，Presto（Trino），PostgreSQL ，SQL Server等数据源
02-03
DataX是一个支持主流数据库的通用数据采集工具 详细描述了如何安装部署和每个采集插件的使用方法 该项目从阿里的而来，经过了精简和改造，说明如下 功能差异说明 精简 删除了仅在阿里内部的数据库，这些数据库在非阿里集团无法使用，因此直接删除，包括： 美国存托凭证 DRDS OCS ODPS 开源软件 OTS 增加 增加了部分插件，目前包括 阅读器插件 clickhousereader dbffilereader hbase20xreader jsonfilereader Kudureader influxdbreader httpreader 作家插件 dbffilewrite 青梅作家 库杜作家 Influxdbwriter 部分插件增强功能，罗列如下 关系型数据库增加了几乎所有基本数据类型和部分复杂类型的支持 hdfswriter增加了对十进制数据类型格式的支持 hdfswriter增加了对Parquet文件格式的支持 hdfswrite增加了目录覆盖模式 hdfswriter增加了更多的文件压缩格式支持 hdfswriter的临时目录位置放入为当前写入目录下的
datax导入mysql数据到hbase_dataX从mysql导出数据到hbase
weixin_28955929的博客
02-06 1017
业务数据库中存了大量的历史数据，导致在根据业务条件查询数据的时候效率太低。因此考虑将原始的业务数据通过SQL先做一遍处理后放到中间表，然后再把中间表的数据同步到hbase，以后直接从hbase查询数据。当然这个还涉及到增量数据如何同步，如何保证增量数据不丢失等问题，不在这里记录。这里只记录mysql中的数据如何全量同步到hbase。异构数据源之间的数据迁移工具比较多，常用的有kettle、sqoo...
datax如何支撑hive分区表
csdn_wr的博客
11-02 5879
背景介绍 公司要搭建数据中台，离线数据采集就是其中重要一环，目前是基于alibaba的datax组件来搞得，整体来说日志非常清晰，定位问题非常好。but，它就是没办法支持hive分区表。原因是，datax写入hdfs时，必须要一个存在的hdfs目录，不然就报错，它不自动创建。分区表的分区对应的是目录，所以肯定不存在这个目录的。 解决思路 修改hdfswrite插件，在写入hdfs的时候，指定的分区路径如果不存在就创建一个。 解决步骤 第一步下载datax源码链接 解压修改hdfswrite插件源码
【DATAX】datax读取hive分区表时，空分区任务报错问题解决
快乐星球
09-20 1767
datax读取hive表，hdfsreader读取空分区时，任务报错问题解决
大数据DataX（六）：MySQL导入到HBase
Lansonli（蓝深李）的博客
02-21 6918
简而言之，HbaseWriter 通过 HBase 的 Java 客户端，通过 HTable，Put等 API，将从上游Reader读取的数据写入HBase你hbase11xwriter与hbase094xwriter的主要不同在于API的调用不同，Hbase1.1.x废弃了很多Hbase0.94.x的api。将Mysql数据 同步到HBase需要使用到“MysqlReader”和“HbaseWriter”两个插件，前面介绍过MysqlReader插件，这里不再赘述，下面介绍“HbaseWriter”。
Datax从入门到精通06-Hive分区表同步数据到clickhouse实操
欲望以提升热忱 毅力以磨平高山
07-07 5531
一、前置说明 clickhouse 版本：ClickHouse client version 20.3.12.112 waterdrop 环境：waterdrop-1.5.0 集群部署：4台机器（32core,64GB）查询时候使用nginx负载均衡。 二、Hive数据导入ClickHouse方案 应用场景： 鉴于clickhouse优秀的写入和查询性能，我们决定将hive中小时表的分区数据导入到clickhouse进行数据分析。初测：3千万的hive表写入postgresql需要400min+(jd
Datax从入门到精通05-DataX分库分表写法笔记
欲望以提升热忱 毅力以磨平高山
12-17 2480
以下简单记录DataX3.0分库分表的写法，其实只需要在connection处按照分表规则定义即可。如下示例： { "job": { "setting": { "speed": { "channel":60 } }, "content": [ { "reader": { "name": "mysqlreader", "parameter": {
hive数据导入hbase
moke的博客
01-26 1646
将hive数据导入hbase一、hive外部表映射hbase表1. hbase里面创建表2. 建立hive外部表并映射hbase表3.测试spark bulkload方式准备事项pom文件代码 一、hive外部表映射hbase表 1. hbase里面创建表 create 'B_TEST_STU', { NAME => 'info', COMPRESSION => 'SNAPPY' } 2. 建立hive外部表并映射hbase表 create database yh_test; use yh_t
datax 持续数据同步_使用 DataX 将 Hive 与 MySQL 中的表互导
05-24
DataX 是阿里巴巴集团开源的一款数据同步工具，它支持多种数据源之间的同步，包括 Hive、MySQL、Oracle 等常见关系型数据库以及 HDFS、FTP 等非关系型数据源。下面介绍如何使用 DataX 将 Hive 和 MySQL 中的表互导。 首先需要在本地和远程服务器上安装好 DataX。然后创建一个名为 job.json 的配置文件，内容如下： ``` { "job": { "content": [ { "reader": { "name": "hdfswriter", "parameter": { "path": "/user/hive/warehouse/myhive.db/myhive_table", "defaultFS": "hdfs://localhost:9000", "fileType": "orc", "column": [ "col1", "col2", "col3" ] } }, "writer": { "name": "mysqlwriter", "parameter": { "url": "jdbc:mysql://localhost:3306/test", "username": "root", "password": "123456", "table": "mysql_table", "column": [ "col1", "col2", "col3" ] } } } ], "setting": { "speed": { "channel": "3" } } } } ``` 该配置文件定义了一个数据同步任务，将 Hive 中的 myhive_table 表导入到 MySQL 中的 mysql_table 表中。其中，hdfswriter 和 mysqlwriter 分别表示数据源和目标源的类型，parameter 参数中定义了数据源和目标源的详细信息。column 参数定义了需要同步的列。 执行以下命令启动 DataX 任务： ``` python datax.py job.json ``` 该命令会按照配置文件中的定义开始数据同步任务。在数据量较大的情况下，可以通过修改 job.json 中的 speed 参数来调整数据同步的速度，以避免对源和目标服务器的负载过大。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值