Sqoop—— 1.原理及架构

最新推荐文章于 2022-01-10 13:55:37 发布
最新推荐文章于 2022-01-10 13:55:37 发布
阅读量439 收藏
点赞数
分类专栏： Sqoop 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blueicex2017/article/details/104918345
版权

sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。核心的功能有两个：导入、迁入。导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统。导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论。sqoop本质就是迁移数据， 迁移的方式：就是把sqoop的迁移命令转换成MR程序
。hive本质就是执行计算，依赖于HDFS存储数据，把SQL转换成MR程序。
在这里插入图片描述
将导入或导出命令翻译成 MapReduce 程序来实现 在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制。

————Blueicex 2020/3/17 11:45 blueice1980@126.com

blueicex2020
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop-1.4.7.jar
01-27
解决错误：Could not find or load main class org.apache.sqoop.Sqoop。把这个sqoop-1.4.7.jar放到sqoop根目录下的lib目录中，即可。 如果你没有积分，也可以自己去这个地址下载：...
sqoop 详解
最新发布
2301_76522810的博客
07-08 2249
Sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。导入数据：MySQL、Oracle导入数据到hadoop的hdfs、hive、hbase等数据存储系统。导出数据：从hadoop的文件系统中导出数据到关系型数据库中。
sqoop详解
qq_43528451的博客
07-13 1万+
sqoop详解 一．sqoop的简单概论 1.sqoop产生的原因： A. 多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。 B. 由于没有工具支持，对hadoop和关系型数据库之间数据传输是一个很困难的事。 依据以上的原因sqoop产生的。 \2. sqoop的介绍 sqoop是连接关系型数据库和hadoop的桥梁，主要有两个方面(导入和导出)： A. 将关系型数据库的数据导入到Hadoop 及其相关的系统中，如 Hive和HBase B. 将数据从Had
Sqoop原理和架构
一直打铁
08-22 1294
Sqoop原理和架构一、架构二、原理2.1 sqoop import 原理2.1sqoop export 原理 一、架构 Sqoop 架构是非常简单的，它主要由三个部分组成：Sqoop client、HDFS/HBase/Hive、Database。 步骤流程： （1）用户向 Sqoop 发起一个命令之后，这个命令会转换为一个基于 Map Task 的 MapReduce 作业。 （2）Map...
Sqoop笔记
woshiwanxin102213的专栏
01-22 7284
Sqoop是什么 Sqoop:SQL-to-Hadoop 传统数据库与Hadoop间数据同步工具 利用Mapreduce分布式批处理，加快了数据传输速度，保证了容错性 Sqoop1架构 sqoop1 import原理： 从传统数据库获取元数据信息(schema、table、field、field type)，把导入功能转换为只有Map的Mapreduce作业，在mapreduc
Sqoop架构以及应用介绍
热门推荐
什么最重要？算法！！
05-25 2万+
本篇文章在具体介绍Sqoop之前，先给大家用一个流程图介绍Hadoop业务的开发流程以及Sqoop在业务当中的实际地位。 如上图所示：在实际的业务当中，我们首先对原始数据集通过MapReduce进行数据清洗，然后将清洗后的数据存入到Hbase数据库中，而后通过数据仓库Hive对Hbase中的数据进行统计与分析，分析之后将分析结果存入到Hive表中，然后通过Sqoop这个工具将我们的数据挖
sqoop-1.4.6.jar.zip
04-20
sqoop框架开发工具使用的jar sqoop-1.4.6.jar 手动安装到maven <groupId>org.apache.sqoop <artifactId>sqoop <version>1.4.6 </dependency>
Atlas2.3.0依赖： org.restlet/sqoop-1.4.6.2.3.99.0-195
02-19
sqoop-1.4.6.2.3.99.0-195.jar org.restlet-2.4.3.jar org.restlet.ext.servlet-2.4.3.jar
sqoop-1.4.6.2.3.99.0-195.jar..zip
08-14
编译Atlas用 sqoop-1.4.6.2.3.99.0-195.jar 内含安装jar包以及maven手动安装命令 详情可参考我的博客： https://blog.csdn.net/qq_26502245/article/details/108008070
sqoop-1.4.6.bin-hadoop-2.0.4-alpha版本的压缩包，直接下载到本地，解压后即可使用
07-02
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，...
sqoop的原理及概念
10-17
正如标题所述，这是一个介绍sqoop原理及工作流程等概念的专业文档
Sqoop原理篇
huahuaxiaoshao的博客
05-16 1万+
1 Sqoop简介       Apache Sqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库...
Sqoop详解
crazzy_lp的博客
11-19 579
通常一个组织中有价值的数据都要存储在关系型数据库系统中。但是为了进一步进行处理，有些数据需要抽取出来，通过MapReduce程序进行再次加工。为了能够和HDFS系统之外的数据库系统机型交互，MapReduce程序需要使用外部API来访问数据。Sqoop就是一个开源的工具，它允许用户将数据从关系型数据库抽取到hadoop中；也可以把MapReduce处理完的数据导回到数据库中。 1、sqoop...
Sqoop架构原理及常用命令参数
arne's Blog
07-09 619
1. 简介 Sqoop：SQL–to–Hadoop Apache Sqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。 Sqoop支持的数据库： Database version –direct support? connect string ...
1.sqoop概念，功能，架构，版本
百年一梦
04-29 6133
1.sqoop概念 sqoop（SQL TO HADOOP）,是hadoop的协作框架之一 2.功能 对于hadoop进行大数据处理的数据来源主要有两部分 (1)关系数据库，RDBMS（Oracle，MySQL，DB2…） (2)文件（apache，nginx日志数据） hadoop 对于大数据的处理，是将数据存储在HDFS上，sqoop的功能就是将R
Sqoop的工作原理
178技术
01-10 3195
Sqoop是Apache旗下的一款开源工具，该项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，并在2013年，独立成为Apache的一个顶级开源项目。
Sqoop导入底层工作原理
忍哥的博客
04-21 5434
1.Sqoop导入底层工作原理 （1）在导入前，Sqoop使用JDBC来检查将要导入的数据表。 （2）Sqoop检索出表中所有的列以及列的SQL数据类型。 （3）把这些SQL类型的映射到java数据类型，例如（VARCHAR、INTEGER）———&gt;（String，Integer）。 （4）在MapReduce应用中将使用这些对应的java类型来保存字段的值。 （5）Sqoop的代...
Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445) at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931) at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80) at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
05-18
这个错误是 Sqoop 导出数据时遇到的错误。可能的原因是： 1. 数据库连接失败：请检查数据库连接的用户名、密码、主机名、端口号等信息是否正确。 2. 目标路径不存在：请确保目标路径已经存在，或者在 Sqoop 命令中添加 `--create-hive-table` 参数来自动创建表。 3. 权限不足：请确保用户对目标路径有写入权限。 4. 数据库中的表或列不存在：请确保表或列名拼写正确，并且存在于数据库中。 5. 数据类型不匹配：请确保源数据和目标数据类型匹配，例如，源数据是字符串类型，但是目标表中该列是整数类型。 你可以根据具体的错误信息来排查问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值