sqoop的原生抽取方式与HCatalog抽取的区别

最新推荐文章于 2024-03-07 12:28:20 发布
最新推荐文章于 2024-03-07 12:28:20 发布
阅读量247 收藏
点赞数
分类专栏： 脚本 hive shell 文章标签： sqoop hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013039401/article/details/121487430
版权
脚本 同时被 3 个专栏收录
7 篇文章 0 订阅
订阅专栏
hive
6 篇文章 0 订阅
订阅专栏
shell
5 篇文章 0 订阅
订阅专栏

两者的区别:

  1. 文件格式支持不同,HCatalog支持新的文件格式:RCFile,ORCFile
  2. HCatalog更安全,不允许覆盖,原生sqoop抽取支持覆盖
  3. 字段匹配,sqoop原生是顺序匹配mysql和hive字段
    HCatalog通过字段名字进行匹配,更容易读,不容易出错
small.Lei
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop使用hcatalog抽取数据异常
wflh323的专栏
04-10 3421
sqoop使用hcatalog抽取数据到hive，开启hdfs sentry权限同步后sqoop hcatalog脚本执行任务失败，错误日志如下: Job commit failed: org.apache.hive.hcatalog.common.HCatException : 2006 : Error adding partition to metastore. Cause : org...
hcatalog配置以及sqoop集成使用
ImezZ
01-13 3775
hcatalog配置以及sqoop集成使用 1、环境变量配置 vim ~/.bashrc export HCAT_HOME=/usr/hive/hcatalog export PATH=$PATH:$HCAT_HOME/bin 2、查看hive版本下载对应的hive-hcatalog放在hcatalog目录下 查看hive版本 hive --version Hive 2.3.6 我的hive版本是2.3.6，则在maven库下载对应的jar包 https://mvnrepository
sqoop hcatalog数据导出
onway_goahead的博客
06-13 588
将分区表中的数据导入mysql 创建mysql表 create table if not exists test.test_product_id ( product_id bigint(11) comment "商品ID", product_name varchar(255) comment "商品名称", settle_price decimal(20, 2) comment "结算价格", product_main_id bigint(11) comment "主商品ID...
sqoop抽数、推数（关系型数据库：oracle； 数仓：impala）
u013983161的博客
03-07 3088
1.从Oracle抽数到impala #!/bin/sh source /etc/profile source ~/.bash_profile sqoop import --connect jdbc:mysql://ip:3306/数据库名称 \ --username 用户名称 --password 密码 --table '表名' \ --columns 'columns1,colums2,colums3' \ --target-dir /FINBB/ODS/表名 \ --dele...
使用sqoop抽取mysql数据
10-26
3. ** 并发与分割**：为了提高数据抽取的性能，Sqoop 可以通过设置 `--num-mappers` 参数来控制并行任务的数量。如文件名所示，你可能在研究不同并发级别（如 2 并发、4 并发和 6 并发）对数据抽取时间的影响。更高...
Sqoop安装与使用
06-21
Sqoop 是一款方便的在传统型数据库与 Hadoop 之间进行数据迁移的工具，充分利用 MapReduce 并行特点以批处理的方式加快数据传输。Sqoop 工具是 Hadoop 下连接关系型数据库和 Hadoop 的桥梁，支持关系型数据库和 hive...
Sqoop简介与安装.md
08-09
Sqoop简介与安装.md
大数据技术基础实验报告-sqoop的安装配置与应用.doc
08-21
【大数据技术基础实验报告——Sqoop的安装配置与应用】 Sqoop是一款用于在Apache Hadoop和关系型数据库之间传输数据的工具，它简化了大量数据的导入导出过程。本实验报告将详细介绍如何安装配置Sqoop以及如何使用...
运行Sqoop出现hcatalog does not exist!…accumulo does not exist!解决方案
01-07
Warning: /opt/module/sqoop/bin/…/…/hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/module/sqoop/bin/…/…/accumulo ...
Sqoop1: Sqoop-HCatalog Integration
术业有专攻
04-14 1133
I create a HCat table using Hue metastore manager, and submit a sqoop job with hcat through hue, the command show as blow: import --connect jdbc:mysql://192.168.122.1:3306/sample --username zhj -...
sqoop支持Hcatalog使用hcatalog参数后问题集锦
cuichunchi的博客
11-18 8229
官网：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_purpose_4 问题描述： sqoop1.4.6 hadoop2.7.3 hive-2.1.1 本人编写的sqoop脚本如下： 参数解释： --hcatalog-database 指定HCatalog表的数据库名称。如果未指定，default则使用默认数据库名称。提供--hcatalog-database不带选项--hcatalog-table是错误的。这不是必需的.
用Sqoop从oracle导出到Hive中的ORC table
euler1983的专栏
12-13 2732
之前尝试的都是用sqoop导出到hive中的hdfs里，作为外部表。再到hive里建内部表，关联上外部表。 这次尝试直接用sqoop将oracle数据（千万量级）导出到hive中的内部表里。 全程不需要手动建表，方法如下： 1. 利用cx_Oracle程序从oracle里读取表格的前几行数据，读成pandas dataframe。 2. 利用pyspark程序从oracle里用spark.read.jdbc读取原始表，返回值为pyspark dataframe。 3. 利用pyspark的sche
Sqoop “hcatalog does not exist!” 提示信息消除方法
最新发布
小方块的博客
03-07 680
1）进文件夹2）编辑文件3）按一次电脑的esc键，输/HCAT_HOME搜出对应位置4）搜出来后，这一部分全部注释掉5）在每一行的最前面打一个井号6）按一次电脑的esc键，输/HCAT_HOME再继续搜一次7）在每一行的最前面打一个井号。
【Sqoop-命令】Sqoop相关了解及命令
weixin_53543905的博客
02-28 1084
sqoop是apache旗下一款Hadoop和关系数据库服务器之间传送数据的工具。简单来说，sqoop就是一款数据导入导出工具。导入：从RDBMS到hadoop生态圈的过程。导出：从hadoop生态圈到RDBMS。底层：将导入导出命令翻译成MR任务，执行在YARN平台上，底层是对MR的输入和输出做了定制化操作。【Sqoop-命令】Sqoop相关了解及命令
sqoop同步数据
lehsyh的专栏
08-29 826
(1) 把lzo的jar包复制到sqoop_home的lib下: sqoop-1.4.7.bin__hadoop-2.6.0]$ cp hadoop-lzo-0.4.20.jar lib/sqoop需要hadoop2.x环境,所以在配置环境里加相应的配置(感觉配置HADOOP_COMMON_HOME和HADOOP_MAPRED_HOME不太有效)3) mysql数据导入到hdfs。这两个参数需要进一步验证有效性。1) 查看数据库列表。...
sqoop 常用命令及参数
半吊子Kyle的博客
08-30 1500
sqoop 常用命令及参数sqoop 命令说明数据库连接相关参数import 相关参数export 相关参数hive 相关参数 Sqoop User Guide (v1.4.7) (apache.org) sqoop 命令说明 数据抽取方式介绍 sqoop 数据抽取（即导入和导出，抽取的双方是相对的）的方式有以下两种 ① Sqoop API（使用较多） 数据的格式支持比较少，数据允许覆盖，不要求源表和目标表字段相同 (字段名称和个数都可以不相同) ，它抽取的方式是将字段按顺序插入，不够的字段为 Null ②
数据同步工具Sqoop
爱是与世界平行
10-26 2053
Apache Sqoop（SQL-to-Hadoop）项目旨在协助RDBMS（Relational Database Management System：关系型数据库管理系统）与Hadoop之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。
sqoop运行需要hbase，hcatalog，accumulo，zookeeper吗
03-31
不一定，sqoop的运行取决于其需要和从哪里获取数据。如果从Hadoop生态系统中的Hive或HBase中提取数据，则需要Hive和HBase。如果需要将数据导入到HBase，则需要HBase。如果需要将数据导入到Accumulo，则需要Accumulo。如果需要管理Sqoop作业，则需要ZooKeeper。因此，sqoop的运行取决于具体的情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值