sqoop针对联合主键的表导入hbase的简单控制技巧

最新推荐文章于 2022-04-22 16:44:52 发布
VIP文章 最新推荐文章于 2022-04-22 16:44:52 发布
阅读量4.6k 收藏 3
点赞数
分类专栏： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huanggang028/article/details/39205769
版权

导入过程中，如果发现表示联合主键，则sqoop会将主键的这几个字段用短下划线拼接成hbase的rowkey，然后将剩余部分作为该行的cell存入hbase中。但是如果我们需要将这些作为主键的字段冗余存入cell，则需要进行简单的配置。 对于这种情况出现的原因是，有时我们会用hive建立外部表与hbase表关联，后续进行LADP。

在$SQOOP_HOME/sqoop-site.xml中加入如下配置项：



比如我们MySQL的t_student表以school和name作为联合主键：


执行sqoop导入命令：

最低0.47元/天 解锁文章
huanggang028
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
sqoop把mysql数据导入hbase2.1.6
03-13
sqoop把mysql数据导入hbase2.1.6（提示错误及解决方案）
详解联合主键
最新发布
qq_49641620的博客
10-07 1563
例如，在一个订单表中，订单编号一列可能无法满足唯一性，因为一个客户可能会订购多个商品，此时可以使用联合主键“订单编号+商品编号”来确保每个订单与商品的组合唯一。当一个表中没有适合的单一主键时，联合主键可以充分利用多列的信息来确保每行数据的唯一性，提高了数据的完整性与安全性。合主键是在关系型数据库中的一个重要概念，在某些情况下，单一的主键可能无法满足业务需求，此时可以使用联合主键。另外，如果联合主键中的某个列发生变更，需要更新所有引用该列的表，这会带来额外的维护成本。
hbase学习之整合Phoenix与hive
weixin_44178366的博客
10-23 1322
hbase学习之整合Phoenix与hive Phoenix Phoenix简介 定义 Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 特点 1）容易集成：如Spark，Hive，Pig，Flume和Map Reduce； 2）操作简单：DML命令以及通过DDL命令创建和操作表和版本化增量更改； 3）支持HBase二级索引创建。 架构 Phoenix快速入门 部署安装 #1.官网地址 http://phoe
浅谈HBase的数据分布
王卫东 博客
04-22 2436
数据分布问题简述 分布式产生的根源是“规模”，规模可理解为计算和存储的需求。当单机能力无法承载日益增长的计算存储需求时，就要寻求对系统的扩展方法。通常有两种扩展方式：提升单机能力(scale up)，增加机器(scale out，水平扩展)。限于硬件技术，单机能力的提升在一个阶段内是有上限的；而水平扩展在理论上可以是无限的，同时，也更廉价、更容易落地。水平扩展可以通过快速、简单的“加机器”，有效解决业务快速增长的问题，这几乎是现代分布式系统必备的能力。对于爆发式增长的业务，水平扩展似乎是唯一可选择的方案。
sqoop 导入hdfs hive hbase
qq_37706484的博客
10-14 628
目录 参数解析 导入HDFS 导入Hive 导入Hbase Hive增量导入 Hbase增量导入 任务job 参数解析 官网参数解析：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_incremental_imports --password-file ：密码文件在hdfs上的路劲。如果密码不能明...
HBase 基础知识
菜鸡也有大佬梦
04-11 1224
HBase基础知识 一、HBase简介 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。 二、HBase三要素 1、主键：Row Key （主键是用来检索记录的主键，访问hbase table中的行，只有三种方式
从SQLServer导入HBase的sqoop jar包
10-08
从SQLServer导入HBase的sqoop jar包
sqoop重编译版本，解决了联合主键的同步问题
06-29
原生的sqoop在迁移联合主键的表至hive时，只能识别一个主键，导致数据覆盖。本资源是把sqoop的源码按照官方推荐的issue解决方案重新编译后的版本。sqoop-1.4.7.bin__hadoop-2.6.0-2020.0508.tar.gz是已完成编译的tar...
Sqoop通过Phoenix导hbase数据到hive
11-06
出现此问题时使用：java.lang.NullPointerException at org.json.JSONObject.(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.... at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
mysql导入hbase所需要的jar
08-07
报错空指针，且提示json错误时，将此jar包放到hbase/lib和sqoop/lib 中，可解决问题
利用sqoop从mysql向hbase导数据(拼接mysql多字段做为hbase rowkey)
jsky_studio的专栏
02-02 4659
说说自己的思路，路过的朋友请帮忙指正或提新建议，万分感谢。 场景介绍： 自己在mysql中有1张表，每天2GB左右的统计数据,，因为资源原因需定期删除。 但有其他场景需要保存1年以上，所以想把数据备份在hbase里，同时还要能支持准实时查询。 选择Sqoop原因：  希望以后能有一个较通用的数据迁移方案（在mysql和hbase/hive/hdfs之间），尽量减少重复代码
sqoop从mysql向hbase拼接行键
Joseph25的博客
05-30 845
转自：https://blog.csdn.net/jsky_studio/article/details/50626056 <1> 创建一张临时表 system_log_tmp CREATE TABLE system_log_tmp LIKE system_log; <2> 将昨日增量数据copy至该临时表 INSERT sy...
hbase 根据需求创建组合索引（组合rowkey）及组合索引创建规则
豹先生
08-09 1986
hbase据我目前的了解来看 《查询》方面的最大优势是根据rowkey 进行查询，然后结合map/reduce 运算效率非常高，但是如果牵扯到表关联查询，涉及到列簇中的列时，因为没有索引效率就变的非常低下，所以我这采用了组合索引（组合rowkey）方式来解决这个问题，下面采用简单
phoenix 联合主键的探索
继续，Let's Go!
11-13 3994
环境：phoenix 5.0 hbase2.0 连接上phoenix，建一个测试表： create table test12(email varchar not null,id integer not null,name varchar not null,age integer,aihao varchar CONSTRAINT PK PRIMARY KEY (EMAIL,id,name)); ...
数据仓库基本概念
weixin_36190755的博客
09-29 1171
什么是数据仓库？ 数据仓库，英文名称为Data Warehouse，数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。 ——比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》...
HBase行键设计例子
Joseph25的博客
05-30 1325
MD5利用JavaAPI设计行键 int id = 16; byte[] rkid= Bytes.toBytes(id); String prefix = MD5Hash.getMD5AsHex(rkid).substring(0, 3); //取出MD5码的前三位 byte[] rkid2 = Bytes.toBytes(prefix); byte[] rowkey = Bytes.a...
hbase组合rowkey_hbase 根据需求创建组合索引（组合rowkey）及组合索引创建规则
weixin_39920629的博客
12-21 304
hbase据我目前的了解来看 《查询》方面的最大优势是根据rowkey 进行查询，然后结合map/reduce运算效率非常高，但是如果牵扯到表关联查询，涉及到列簇中的列时，因为没有索引效率就变的非常低下，所以我这采用了组合索引(组合rowkey)方式来解决这个问题，下面采用简单的例子来说明如何创建，及创建组合rowkey时需要注意的问题。关系数据库用户表：useruser_id name1 r...
HBase学习
weixin_44468025的博客
03-06 806
一.概述 1.Hbase是基于Hadoop的，分布式、可扩展的、分关系型数据库 2.如果需要大量数据进行随机且实时的读写，那么可以考虑使用HBase 3.HBase能够管理非常大的表：billions of rows * millions of columns 4.HBase是仿照Google的Big Table来进行实现的，因此，HBase和Bigtable原理几乎一致，只是实现语言不同，HBase用的java，BigTable用的C 5.Hbase提供了2个大版本，并且2个版本都在同时更新。其中，Had
使用sqoop将数据从mysql导入hbase
03-16
使用sqoop工具可以将数据从MySQL数据库导入到HBase中，具体步骤如下： 1. 首先需要安装好Hadoop和HBase，并启动相关服务。 2. 然后在终端中输入以下命令，将MySQL中的数据导出为一个文件： sqoop export --...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值