Data Transfer By Sqoop2

最新推荐文章于 2022-06-10 13:49:55 发布
最新推荐文章于 2022-06-10 13:49:55 发布
阅读量98 收藏
点赞数
文章标签： 数据库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33861800/article/details/85069372
版权

本文主要描述了HDFS和RDBMS数据库之间的数据迁移。
一、创建Link
这里主要描述下Oracle、PostgreSQL、MySQL以及HDFS的link创建。
1.1 JDBC驱动安装
从官网下载Oracle和PostgreSQL的jdbc驱动，拷贝到$SQOOP_HOME/server/lib，然后重启sqoop2服务器。我这里用到的Oracle jdbc驱动为ojdbc6.jar，PostgreSQL为postgresql-42.1.4.jar，MySQL为mysql-connector-java-5.1.44-bin.jar。
1.2 创建HDFS Link

sqoop:000> create link -c hdfs-connector
Creating link for connector with name hdfs-connector
Please fill following values to create new link object
Name: HDFS_Link

HDFS cluster

URI: hdfs://192.168.120.96:9000
Conf directory: /u01/hadoop/etc/hadoop
Additional configs:: 
There are currently 0 values in the map:
entry# 
New link was successfully created with validation status OK and name HDFS_Link

1.3 创建MySQL Link

sqoop:000> create link -c  generic-jdbc-connector
Creating link for connector with name generic-jdbc-connector
Please fill following values to create new link object
Name: MySQL_Link

Database connection

Driver class: com.mysql.jdbc.Driver
Connection String: jdbc:mysql://192.168.120.92:3306/smsqw?useSSL=false
Username: root
Password: *********
Fetch Size: 
Connection Properties: 
There are currently 0 values in the map:
entry# 

SQL Dialect

Identifier enclose: 
New link was successfully created with validation status OK and name MySQL_Link

1.4 创建PostgreSQL link

sqoop:000> create link -c generic-jdbc-connector
Creating link for connector with name generic-jdbc-connector
Please fill following values to create new link object
Name: PostgreSQL_Link

Database connection

Driver class: org.postgresql.Driver
Connection String: jdbc:postgresql://192.168.120.93:5432/rhndb
Username: rhnuser
Password: ******
Fetch Size: 
Connection Properties: 
There are currently 0 values in the map:
entry# 

SQL Dialect

Identifier enclose:  
New link was successfully created with validation status OK and name PostgreSQL_Link

1.5 创建Oracle Link

sqoop:000> create link -c generic-jdbc-connector
Creating link for connector with name generic-jdbc-connector
Please fill following values to create new link object
Name: Oracle_link

Database connection

Driver class: oracle.jdbc.driver.OracleDriver
Connection String: jdbc:oracle:thin:@192.168.120.121:1521:rhndb
Username: spwuser
Password: ******
Fetch Size: 
Connection Properties: 
There are currently 0 values in the map:
entry# 

SQL Dialect

Identifier enclose:                                            
New link was successfully created with validation status OK and name Oracle_link

> 注意：关系型数据库在Identifier enclose这里，必须先空格再回车。
Data Transfer By Sqoop2
二、创建关系型数据库到HDFS作业
2.1 MySQL To HDFS作业

sqoop:000> create job -f MySQL_Link -t HDFS_Link
Creating job for links with from name MySQL_Link and to name HDFS_Link
Please fill following values to create new job object
Name: MySQL_To_HDFS

Database source

Schema name: smsqw
Table name: tbMessage
SQL statement: 
Column names: 
There are currently 0 values in the list:
element# 
Partition column: 
Partition column nullable: 
Boundary query: 

Incremental read

Check column: 
Last value: 

Target configuration

Override null value: 
Null value: 
File format: 
  0 : TEXT_FILE
  1 : SEQUENCE_FILE
  2 : PARQUET_FILE
Choose: 0
Compression codec: 
  0 : NONE
  1 : DEFAULT
  2 : DEFLATE
  3 : GZIP
  4 : BZIP2
  5 : LZO
  6 : LZ4
  7 : SNAPPY
  8 : CUSTOM
Choose: 1
Custom codec: 
Output directory: /user/DataSource
Append mode: 

Throttling resources

Extractors: 
Loaders: 

Classpath configuration

Extra mapper jars: 
There are currently 0 values in the list:
element# 
New job was successfully created with validation status OK  and name MySQL_To_HDFS

2.2 PostgreSQL To HDFS作业

sqoop:000> create job -f PostgreSQL_Link -t HDFS_Link
Creating job for links with from name PostgreSQL_Link and to name HDFS_Link
Please fill following values to create new job object
Name: PostgreSQL_to_HDFS

Database source

Schema name: rhndb
Table name: rhnpackagechangelogdata
SQL statement: 
Column names: 
There are currently 0 values in the list:
element# 
Partition column: id                    --如果表没有主键，就指定一个字段
Partition column nullable: 
Boundary query: 

Incremental read

Check column: 
Last value: 

Target configuration

Override null value: 
Null value: 
File format: 
  0 : TEXT_FILE
  1 : SEQUENCE_FILE
  2 : PARQUET_FILE
Choose: 0
Compression codec: 
  0 : NONE
  1 : DEFAULT
  2 : DEFLATE
  3 : GZIP
  4 : BZIP2
  5 : LZO
  6 : LZ4
  7 : SNAPPY
  8 : CUSTOM
Choose: 1
Custom codec: 
Output directory: /user/DataSource/PostgreSQL/RHNPACKAGECHANGELOGDATA
Append mode: 

Throttling resources

Extractors: 
Loaders: 

Classpath configuration

Extra mapper jars: 
There are currently 0 values in the list:
element# 
New job was successfully created with validation status OK  and name PostgreSQL_to_HDFS

2.3 创建Oracle To HDFS作业

sqoop:000> create job -f Oracle_link -t HDFS_Link
Creating job for links with from name Oracle_link and to name HDFS_Link
Please fill following values to create new job object
Name: Oracle_To_HDFS

Database source

Schema name: spwuser
Table name: RHNCHANNELPACKAGE
SQL statement: 
Column names: 
There are currently 0 values in the list:
element# 
Partition column: 
Partition column nullable: 
Boundary query: 

Incremental read

Check column: 
Last value: 

Target configuration

Override null value: 
Null value: 
File format: 
  0 : TEXT_FILE
  1 : SEQUENCE_FILE
  2 : PARQUET_FILE
Choose: 0
Compression codec: 
  0 : NONE
  1 : DEFAULT
  2 : DEFLATE
  3 : GZIP
  4 : BZIP2
  5 : LZO
  6 : LZ4
  7 : SNAPPY
  8 : CUSTOM
Choose: 1
Custom codec: 
Output directory: /user/DataSource/Oracle/RHNCHANNELPACKAGE
Append mode: 

Throttling resources

Extractors: 
Loaders: 

Classpath configuration

Extra mapper jars: 
There are currently 0 values in the list:
element# 
New job was successfully created with validation status OK  and name Oracle_To_HDFS

> 注意：如果表没有主键，则需在"Partition column: "处指定一个字段。
三、创建HDFS To 关系型数据库作业
3.1 HDFS To MySQL作业

sqoop:000> create job -f HDFS_Link -t MySQL_Link
Creating job for links with from name HDFS_Link and to name MySQL_Link
Please fill following values to create new job object
Name: HDFS_To_MySQL

Input configuration

Input directory: /user/DataSource/MySQL/tbDeliverMsg
Override null value: 
Null value: 

Incremental import

Incremental type: 
  0 : NONE
  1 : NEW_FILES
Choose: 0
Last imported date: 

Database target

Schema name: smsqw
Table name: tbDeliverMsg2
Column names: 
There are currently 0 values in the list:
element# 
Staging table: 
Clear stage table: 

Throttling resources

Extractors: 
Loaders: 

Classpath configuration

Extra mapper jars: 
There are currently 0 values in the list:
element# 
New job was successfully created with validation status OK  and name HDFS_To_MySQL

3.2 HDFS To PostgreSQL作业

sqoop:000> create job -f HDFS_Link -t PostgreSQL_Link
Creating job for links with from name HDFS_Link and to name PostgreSQL_Link
Please fill following values to create new job object
Name: HDFS_To_PostgreSQL

Input configuration

Input directory: /user/DataSource/PostgreSQL/RHNPACKAGECHANGELOGDATA
Override null value: 
Null value: 

Incremental import

Incremental type: 
  0 : NONE
  1 : NEW_FILES
Choose: 0
Last imported date: 

Database target

Schema name: public
Table name: rhnpackagechangelogdata
Column names: 
There are currently 0 values in the list:
element# 
Staging table: 
Clear stage table: 

Throttling resources

Extractors: 
Loaders: 

Classpath configuration

Extra mapper jars: 
There are currently 0 values in the list:
element# 
New job was successfully created with validation status OK  and name HDFS_To_PostgreSQL

3.3 HDFS To Oracle作业

sqoop:000> create job -f HDFS_Link -t Oracle_link
Creating job for links with from name HDFS_Link and to name Oracle_link
Please fill following values to create new job object
Name: HDFS_To_Oracle

Input configuration

Input directory: /user/DataSource/Oracle/QRTZ_CRON_TRIGGERS
Override null value: 
Null value: 

Incremental import

Incremental type: 
  0 : NONE
  1 : NEW_FILES
Choose: 0
Last imported date: 

Database target

Schema name: spwuser
Table name: QRTZ_CRON_TRIGGERS
Column names: 
There are currently 0 values in the list:
element# 
Staging table: 
Clear stage table: 

Throttling resources

Extractors: 
Loaders: 

Classpath configuration

Extra mapper jars: 
There are currently 0 values in the list:
element# 
New job was successfully created with validation status OK  and name create job -f HDFS_Link -t Oracle_link

Data Transfer By Sqoop2
另外，可以查看指定作业的详细信息，如下：
Data Transfer By Sqoop2
四、运行作业
4.1 MySQL_To_HDFS
Data Transfer By Sqoop2
4.2 PostgreSQL_To_HDFS
Data Transfer By Sqoop2
4.3 Oracle_To_HDFS
Data Transfer By Sqoop2
4.4 HDFS_To_MySQL
Data Transfer By Sqoop2
4.5 HDFS_To_PostgreSQL
Data Transfer By Sqoop2
4.6 HDFS_To_Oracle
Data Transfer By Sqoop2
参考文献：
1、Sqoop2 User Guide

weixin_33861800
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sqoop2的安装包
12-18
Sqoop2是一款用于在Hadoop和关系数据库管理系统（RDBMS）之间进行数据迁移的工具。它是Apache Sqoop项目的第二代版本，旨在提供更高级的功能和更好的可扩展性，以支持大数据环境中的复杂数据导入导出任务。在这个...
sqoop2安装文档
01-16
### Sqoop2安装与配置详解 #### 一、概述 Sqoop是一款开源工具，主要用于在Hadoop和关系型数据库之间高效地传输数据。Sqoop2是Sqoop的一个重大升级版本，它引入了全新的架构和改进的功能，使得数据迁移更加稳定...
JLink EDU v7.58 变砖修复
qq_29832469的博客
06-10 1763
JLink EDU 正版变砖修复
Linux设备驱动子系统第二弹 - SD卡
我的嵌入式人生
10-01 1万+
1. 总论 2. 主控制器 3. 协议层 4. 块设备 1. 总论  1.1 概念 MMC - MultiMedia CardSD    - Secure Digital Card 1.2 分类 按存储大小，普通SD卡（2GB,按体积大小，普通SD卡，mini-SD卡，micro-SD卡（TF卡） 1.3 速度 默认模式: 12.5MB/s高速模式: 25MB/
[wxpython2.7]"Could not transfer data to window "警告
wstarx的专栏
06-18 1339
今天在wxPython2.7中实现了一个继承自wx.PyValidator 的判断是否是数字的validator，用于TectCtrl中。代码编写好后，在每次运行时会弹出个对话框，提示warning "Could not transfer data to window "， 但功能运行是正常的。在百度上按全句匹配搜了一下，没有结果。在google中就搜出来了几个，看来还是google实力强些。但是
彻底解决Could not transfer artifact org.apache.maven.plugins问题
热门推荐
weixin_44005516的博客
08-29 16万+
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
解决sqoop2导入hdfs单引号问题
11-26
使用sqoop2从mysql导入hadoop时，导入的数据带单引号。是由于sqoop2的一个bug导致，该包上传到sqoop_home/server/lib替换原来的jar包后，重启sqoop server，即可解决。
sqoop2-1.99.7 documentation 英文文档
08-13
### Sqoop2-1.99.7 文档概述 #### 一、Sqoop简介 Apache Sqoop 是一个工具，用于高效地在结构化、半结构化和非结构化数据源之间传输数据。例如，关系型数据库是具有明确数据模式的结构化数据源的示例；Cassandra ...
sqoop：Apache Sqoop的镜像
02-03
欢迎来到Sqoop！ 这是Sqoop（SQL到Hadoop）工具。 Sqoop允许在数据库和HDFS之间轻松导入和导出数据集。更多文件Sqoop附带其他文档：用户指南和手册页。 两者的asciidoc来源都在src/docs/ 。 运行ant docs以构建文档...
JLink不能识别CPU错误的解决办法： Could not find supported CPU core on JTAG chain
Captain
01-24 1万+
JLink不能识别CPU错误的解决办法： Could not find supported CPU core on JTAG chain 第一、 转接板 的插针没有对齐 JLink的 20针 你拔插转接板，然后严格对齐 一针一针 重新插好 ，再测试 第二 换一根USB延长线， 可以直接用2440开发板盒子里面的 白色的USB线， 替换掉黑色的USB线，插在Jlink上 链接笔记本的USB口 然
Could not transfer artifact xxx from/to xxx解决方案
周君的个人博客
02-21 15万+
问题描述： 在进行创建maven工程自动导入对应的依赖或者执行 mvn install 时提示如下的错误信息： Could not transfer artifact xxx from/to xxx 方法一： 这个问题主要就是在你下载相关的依赖包时，没有下载成功照成的，需要找到对应的maven库包，删除以 .lastUpdated 结尾的文件，然后重新下载，一般可以得到解决， 这里有一...
Could not transfer metadata ****SNAPSHOT.jar from/to
wohaoeya的专栏
12-08 7825
               <repositories>                     <repository>                       <id>central</id>                       <url>http://******/repository/maven-public/&lt...
JLINK 10针J和20针JTAG接口连接方法 分类： HI3531...
weixin_30843605的博客
12-09 426
我的JLINK终于用上了，哈哈，好开心，终于不用考虑是不是要借用别人的PC机了，昨天到城隍庙电子市场忙活了一下午，终于算是满载而归，呵呵，好了，下面说一下接法，其实根本不需要什么转接板什么的，直接把相应的几根线对接就可以用了，所以要参考电路图，上面为TQ2440开发板的JTAG电路图，下面为JLINK的20针电路图，下面的JLINKV7电路图是标准接口，网上到处都能找到 ...
【Maven】入门开发过程中遇到的问题：Could not transfer metadata
playadota的博客
10-13 5万+
最近加入新公司，从公司gitlib上下载了一个工程进行入手。 该项目用到了很多公司自己的依赖，由于我刚来所以很多依赖需要配置maven的setting.xml和工程pom文件下载，在这里为了省事直接拷贝了部门老大的setting文件以及pom。 然后maven build--clean install，进行编译 在编译项目的过程中发现很多公司私有依赖无法下载，原因是无法连接到服务器，请求被拒
Data transfer object
weixin_30340353的博客
07-30 82
Data transfer object(DTO)is adesign patternused to transfer data betweensoftware applicationsubsystems. DTOs are often used in conjunction withdata access objectsto retrieve data from adataba...
JTAG接口无法连接的问题
彬彬有礼的专栏
01-06 2万+
题目：JTAG接口无法连接问题   本文包含两部分内容：1）续写TI DSP连接不上的问题；2）顺便提一下Xilinx FPGA的JTAG口连接不上的问题。   一、TI DSP为啥连接不上？ 半年前发过一篇博文《DSP为啥连接不上？TMS320C6416T+seed-XDS510 PLUS》（链接http://blog.csdn.net/jbb0523/article/details/
ebayUpdate data transfer
kenny's blog
05-15 732
-- 1. init ebay_cat_map insert into ebay_cat_map select * from ebay.ebay_cat_map; -- 2. init ebay_category insert into ebay_category select * from ebay.ebay_category; -- 3. init ebay_st_ca
Apache Sqoop 1.99.7 用户与开发者指南
1. **构建 Sqoop 2**：这部分指导开发者如何从源代码编译和构建 Sqoop 2，以获取最新的版本或进行定制。 2. **Sqoop 开发环境设置**：介绍如何搭建开发环境，以开始对 Sqoop 进行扩展和定制。 3. **使用 Connector ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值