Sqoop1 导入与导出数据

最新推荐文章于 2022-10-14 09:22:00 发布
最新推荐文章于 2022-10-14 09:22:00 发布
阅读量1.6k 收藏
点赞数
分类专栏： Sqoop 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HG_Harvey/article/details/77985857
版权

本篇博客主要介绍如何使用Sqoop1.x版本来实现数据的导入与导出，笔者使用的版本为Sqoop1.4.6，安装配置请参考博客：
http://blog.csdn.net/hg_harvey/article/details/77803520

官网文档：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

1.MySQL 导入数据到 HDFS

流程图：

这里写图片描述

说明：
(1).Sqoop 与数据库进行通信，获取数据库表的元数据信息
(2).Sqoop启动一个Map-Only的MapReduce作业，利用元数据信息并行将数据写入Hadoop

1.数据准备

  • MySQL 中创建数据库sqoop
create database sqoop;
use sqoop;
  • 创建两张表dept及emp
CREATE TABLE DEPT(
    DEPTNO int(2) PRIMARY KEY,
    DNAME VARCHAR(14),
    LOC VARCHAR(13) 
);

表结构：

mysql> desc DEPT;
+--------+-------------+------+-----+---------+-------+
| Field  | Type        | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| DEPTNO | int(2)      | NO   | PRI | NULL    |       |
| DNAME  | varchar(14) | YES  |     | NULL    |       |
| LOC    | varchar(13) | YES  |     | NULL    |       |
+--------+-------------+------+-----+---------+-------+
CREATE TABLE EMP(
    EMPNO int(4) PRIMARY KEY,
    ENAME VARCHAR(10),
    JOB VARCHAR(9),
    MGR int(4),
    HIREDATE DATE,
    SAL int(7),
    COMM int(7),
    DEPTNO int(2),
    foreign key(deptno) references DEPT(DEPTNO)
);

表结构：

mysql> desc EMP;
+----------+-------------+------+-----+---------+-------+
| Field    | Type        | Null | Key | Default | Extra |
+----------+-------------+------+-----+---------+-------+
| EMPNO    | int(4)      | NO   | PRI | NULL    |       |
| ENAME    | varchar(10) | YES  |     | NULL    |       |
| JOB      | varchar(9)  | YES  |     | NULL    |       |
| MGR      | int(4)      | YES  |     | NULL    |       |
| HIREDATE | date        | YES  |     | NULL    |       |
| SAL      | int(7)      | YES  |     | NULL    |       |
| COMM     | int(7)      | YES  |     | NULL    |       |
| DEPTNO   | int(2)      | YES  | MUL | NULL    |       |
+----------+-------------+------+-----+---------+-------+
  • 插入数据

DEPT 表：

INSERT INTO DEPT VALUES
 (10,'ACCOUNTING','NEW YORK');
INSERT INTO DEPT VALUES (20,'RESEARCH','DALLAS');
INSERT INTO DEPT VALUES
 (30,'SALES','CHICAGO');
INSERT INTO DEPT VALUES
 (40,'OPERATIONS','BOSTON');

这里写图片描述

EMP 表：

INSERT INTO EMP VALUES
(7369,'SMITH','CLERK',7902,'1980-12-17',800,NULL,20);
INSERT INTO EMP VALUES
(7499,'ALLEN','SALESMAN',7698,'1981-2-20',1600,300,30);
INSERT INTO EMP VALUES
(7521,'WARD','SALESMAN',7698,'1981-2-22',1250,500,30);
INSERT INTO EMP VALUES
(7566,'JONES','MANAGER',7839,'1981-4-2',2975,NULL,20);
INSERT INTO EMP VALUES
(7654,'MARTIN','SALESMAN',7698,'1981-9-28',1250,1400,30);
INSERT INTO EMP VALUES
(7698,'BLAKE','MANAGER',7839,'1981-5-1',2850,NULL,30);
INSERT INTO EMP VALUES
(7782,'CLARK','MANAGER',7839,'1981-6-9',2450,NULL,10);
INSERT INTO EMP VALUES
(7788,'SCOTT','ANALYST',7566,'87-7-13',3000,NULL,20);
INSERT INTO EMP VALUES
(7839,'KING','PRESIDENT',NULL,'1981-11-17',5000,NULL,10);
INSERT INTO EMP VALUES
(7844,'TURNER','SALESMAN',7698,'1981-9-8',1500,0,30);
INSERT INTO EMP VALUES
(7876,'ADAMS','CLERK',7788,'87-7-13',1100,NULL,20);
INSERT INTO EMP VALUES
(7900,'JAMES','CLERK',7698,'1981-12-3',950,NULL,30);
INSERT INTO EMP VALUES
(7902,'FORD','ANALYST',7566,'1981-12-3',3000,NULL,20);
INSERT INTO EMP VALUES
(7934,'MILLER','CLERK',7782,'1982-1-23',1300,NULL,10);

这里写图片描述

2.从mysql导入数据到HDFS

导入数据使用import命令，输入如下命令查看帮助说明

$ sqoop help import

输入命令导入数据

sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password P@ssw0rd \
--table EMP -m 1\

访问 http://IP:8088/cluster 查看任务

这里写图片描述

点击History，查看历史

这里写图片描述

查看运行结果
默认导入HDFS路径：/user/用户名/表名

$ hadoop fs -ls /user/hadoop/EMP
$ hadoop fs -text /user/hadoop/EMP/part-m-00000

这里写图片描述

3.sqoop import 命令常用参数使用

(1).导入数据前先删除目录（–delete-target-dir）

如果重复执行上面的命令导入数据到hdfs会报如下错误
Encountered IOException running import job:
org.apache.hadoop.mapred.FileAlreadyExistsException:
Output directory hdfs://hdpcomprs:9000/user/hadoop/EMP already exists

错误原因：hdfs中文件路径已存在
解决方法：
①.手工把存在的目录删除
②.执行导入时，加上参数–delete-target-dir

sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password P@ssw0rd \
--delete-target-dir \
--table EMP -m 1
(2).设置mapreduce作业名称（–mapreduce-job-name）
sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password P@ssw0rd \
--delete-target-dir \
--mapreduce-job-name FromMySQLToHDFS \
--table EMP -m 1

查看mapreduce作业名称

这里写图片描述

(3).导入数据时指定hdfs路径（–target-dir）
sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password P@ssw0rd \
--delete-target-dir \
--mapreduce-job-name FromMySQLToHDFS \
--target-dir EMP_INFO \
--table EMP -m 1

数据导入到hdfs的路径为：/user/hadoop/EMP_INFO

(4).设置只导入指定列的数据（–columns）
sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password P@ssw0rd \
--delete-target-dir \
--mapreduce-job-name FromMySQLToHDFS \
--target-dir EMP_COLUMN \
--columns "EMPNO,ENAME,JOB,SAL,COMM" \
--table EMP -m 1

运行结果：

$ hadoop fs -ls /user/hadoop/EMP_COLUMN
$ hadoop fs -text /user/hadoop/EMP_COLUMN/part-m-00000

这里写图片描述

(5).导入数据时设置文件的存储格式

使用参数–as-parquetfile 设置存储格式为parquet格式

sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password P@ssw0rd \
--delete-target-dir \
--mapreduce-job-name FromMySQLToHDFS \
--target-dir EMP_COLUMN_PARQUET \
--columns "EMPNO,ENAME,JOB,SAL,COMM" \
--as-parquetfile \
--table EMP -m 1

导入完成后，在hdfs中可以看到文件的存储格式为parquetfile

$ hadoop fs -ls /user/hadoop/EMP_COLUMN_PARQUET

这里写图片描述

(6).设置导入数据字段与字段、行与行之间的分隔符

设置字段与字段之间的分隔符使用参数–fields-terminated-by，设置行与行之间的分隔符使用–lines-terminated-by

sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password P@ssw0rd \
--delete-target-dir \
--mapreduce-job-name FromMySQLToHDFS \
--target-dir EMP_SPLIT \
--fields-terminated-by '\t' \
--lines-terminated-by '\n' \
--table EMP -m 1

运行结果：

$ hadoop fs -ls /user/hadoop/EMP_SPLIT
$ hadoop fs -text /user/hadoop/EMP_SPLIT/part-m-00000

这里写图片描述

(7).条件导入

实现需求：将emp表中工资大于2000的员工信息导入到hdfs

  • 方式一：–where
sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root --password P@ssw0rd \
--delete-target-dir \
--target-dir EMP_COLUMN_WHERE \
--columns "EMPNO,ENAME,JOB,SAL,COMM" \
--mapreduce-job-name FromMySQLToHDFS \
--where 'SAL>2000' \
--fields-terminated-by '\t' \ 
--lines-terminated-by '\n' \
--table EMP -m 2

命令中-m 写的是2，表示会有两个map，也就是两个输出文件，即执行完成后，在hdfs中会有两个文件

查看结果：

$ hadoop fs -ls /user/hadoop/EMP_COLUMN_WHERE
$ hadoop fs -text /user/hadoop/EMP_COLUMN_WHERE/part-m-00000
$ hadoop fs -text /user/hadoop/EMP_COLUMN_WHERE/part-m-00001

这里写图片描述

  • 方式二：–query
sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password P@ssw0rd \
--delete-target-dir \
--target-dir EMP_COLUMN_QUERY \
--query 'select * from EMP where SAL>2000' \
--mapreduce-job-name FromMySQLToHDFS \
--fields-terminated-by '\t' \
--lines-terminated-by '\n' \
--table EMP -m 1

执行命令报如下错误：
Cannot specify –query and –table together.
错误原因：在使用–query后，查询条件已经指定了表名，不需要再使用–table参数来指定表名了
解决方法：去掉–table参数

sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password P@ssw0rd \
--delete-target-dir \
--target-dir EMP_COLUMN_QUERY \
--query 'select * from EMP where SAL>2000' \
--mapreduce-job-name FromMySQLToHDFS \
--fields-terminated-by '\t' \
--lines-terminated-by '\n' \
-m 1

修改后再次执行报如下错误：
IOException: Query [select * from EMP where
SAL>2000] must contain ‘$CONDITIONS’ in WHERE clause
解决方法：在where条件后添加 and $CONDITIONS

sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password P@ssw0rd \
--delete-target-dir \
--target-dir EMP_COLUMN_QUERY \
--query 'select * from EMP where SAL>2000 and $CONDITIONS' \
--mapreduce-job-name FromMySQLToHDFS \
--fields-terminated-by '\t' \
--lines-terminated-by '\n' \
-m 1

查看运行结果：

$ hadoop fs -ls /user/hadoop/EMP_COLUMN_QUERY
$ hadoop fs -text /user/hadoop/EMP_COLUMN_QUERY/part-m-00000

这里写图片描述

–query 不仅支持单表查询，也支持多表查询

实现需求：查询员工编号、名称及员工所属部门导入到hdfs

sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root \
--password P@ssw0rd \
--delete-target-dir \
--target-dir EMP_COLUMN_QUERY_JOIN \
--query 'select E.EMPNO,E.ENAME,D.DNAME from EMP E inner join DEPT D on D.DEPTNO = E.DEPTNO and $CONDITIONS' \
--mapreduce-job-name FromMySQLToHDFS \
--fields-terminated-by '\t' \
--lines-terminated-by '\n' \
-m 1

查看运行结果：

$ hadoop fs -ls /user/hadoop/EMP_COLUMN_QUERY_JOIN
$ hadoop fs -text /user/hadoop/EMP_COLUMN_QUERY_JOIN/part-m-00000

这里写图片描述

(8).导入时将文件作为参数传入（–options-file）

新建文件emp.opt，文件内容如下

import
--connect 
jdbc:mysql://localhost:3306/sqoop 
--username 
root 
--password 
P@ssw0rd
--delete-target-dir 
--target-dir 
EMP_OPTIONS_FILE
--mapreduce-job-name 
FromMySQLToHDFS 
--table 
EMP
-m 
1

注意：如果使用将文件作为参数，在文件中每个命令参数必须为一行

输入如下命令导入数据到hdfs

sqoop --options-file emp.opt

查看运行结果：

$ hadoop fs -ls /user/hadoop/EMP_OPTIONS_FILE
$ hadoop fs -text /user/hadoop/EMP_OPTIONS_FILE/part-m-00000

这里写图片描述

2.HDFS 导出数据到 MySQL

流程图：

这里写图片描述

说明：
(1).Sqoop与数据库通信，获取数据库表的元数据信息；
(2).将Hadoop上的文件划分成若干个Split，每个Split由一个Map Task进行数据导出操作；

1.HDFS 导出数据到MySQL

导出命令使用export，输入如下命令查看命令帮助说明

$ sqoop help export

导出数据到mysql（mysql 中 没有表 EMP_DEMO）

sqoop export \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root --password P@ssw0rd \
--table EMP_DEMO \
--export-dir /user/hadoop/EMP \
-m 1

执行命令后报错：
Table ‘sqoop.EMP_DEMO’ doesn’t exist
说明sqoop不会在mysql中自动创建表，在mysql中创建表EMP_DEMO

CREATE TABLE EMP_DEMO(
    EMPNO int(4) PRIMARY KEY,
    ENAME VARCHAR(10),
    JOB VARCHAR(9),
    MGR int(4),
    HIREDATE DATE,
    SAL int(7),
    COMM int(7),
    DEPTNO int(2),
    foreign key(deptno) references DEPT(DEPTNO)
);

再次执行命令后（如果多次执行导出数据会一致追加到表EMP_DEMO中），运行结果如下

这里写图片描述

2.sqoop export 命令常用参数使用

导出指定的列（–columns）
sqoop export \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root --password P@ssw0rd \
--table EMP_DEMO \
--columns "EMPNO,ENAME,JOB,SAL,COMM" \
--export-dir /user/hadoop/EMP_COLUMN \
-m 1

查看结果：只有指定的列中有数据

这里写图片描述

导出数据时设置字段与字段、行与行之间的分隔符

hdfs中/user/hadoop下EMP_SPLIT文件中的数据是我们前面通过mysql导入的，使用了分隔符，所以在导出时也需要指定分隔符，否则导出不成功。EMP_SPLIT文件内容如下

这里写图片描述

sqoop export \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root --password P@ssw0rd \
--table EMP_DEMO \
--fields-terminated-by '\t' --lines-terminated-by '\n' \
--export-dir /user/hadoop/EMP_SPLIT \
-m 1

运行结果：

这里写图片描述

3.MySQL 导入数据到 Hive

  • 全部导入

实现需求：将mysql中表emp导入到hive中

sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root --password P@ssw0rd \
--table EMP \
--delete-target-dir \
--hive-import \
--hive-database db_test --create-hive-table --hive-table emp_import \
-m 1

运行结果：

这里写图片描述

注意：
运行完成后在hive中自动创建了一张表emp_import，通过命令查看表的信息，可以看到sal的数据类型为int，实际我们一般都是double类型，所以不建议使用–create-hive-table参数来自动创建hive表，建议手动创建表，再使用命令导入。

  • 部分导入

hive 中 创建表

create table emp_column(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
) 
row format delimited fields terminated by '\t' lines terminated by '\n';

这里写图片描述

执行如下命令，将指定的列导入数据到hive

sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root --password P@ssw0rd \
--table EMP \
--delete-target-dir  \
--columns "EMPNO,ENAME,JOB,SAL,COMM" \
--fields-terminated-by '\t' --lines-terminated-by '\n' \
--hive-import --hive-table emp_column --hive-overwrite  \
-m 1

运行结果：

这里写图片描述

4.Hive 导出数据到 MySQL

实现需求：将hive 表 emp_import 中的数据导出到 Mysql 表 EMP_DEMO

hive 表 emp_import对应hdfs路径：/user/hive/warehouse/db_test.db/emp_import

mysql 中 EMP_DEMO 表结构如下

mysql> desc EMP_DEMO;
+----------+-------------+------+-----+---------+-------+
| Field    | Type        | Null | Key | Default | Extra |
+----------+-------------+------+-----+---------+-------+
| EMPNO    | int(4)      | NO   | PRI | NULL    |       |
| ENAME    | varchar(10) | YES  |     | NULL    |       |
| JOB      | varchar(9)  | YES  |     | NULL    |       |
| MGR      | int(4)      | YES  |     | NULL    |       |
| HIREDATE | date        | YES  |     | NULL    |       |
| SAL      | int(7)      | YES  |     | NULL    |       |
| COMM     | int(7)      | YES  |     | NULL    |       |
| DEPTNO   | int(2)      | YES  | MUL | NULL    |       |
+----------+-------------+------+-----+---------+-------+
8 rows in set (0.34 sec)

注意：mysql中日期为date类型，hive中对应的字段为字符串类型，其存储格式必须为：yyyy-mm-dd

导出时指定null字段的填充符，如果不指定会报一个异常NumberFormatException
–input-null-string：如果没有这个选项，那么在字符串类型列中，字符串”null”会被转换成空字符串,所以最好写上这个，指定为’\N’
–input-null-non-string：如果没有这个选项，那么在非字符串类型的列中，空串和”null”都会被看作是null

执行命令导出（相当于hdfs导出到mysql）

sqoop export \
--connect jdbc:mysql://localhost:3306/sqoop \
--username root --password P@ssw0rd \
--table EMP_DEMO \
--export-dir /user/hive/warehouse/db_test.db/emp_import \
--input-fields-terminated-by '\001' \
--input-null-string '\\N' --input-null-non-string '\\N' \
-m 1

运行结果：

这里写图片描述

harveybd
关注
专栏目录
Sqoop导入导出原理与代码实例讲解
程序员光剑
06-02 755
Sqoop导入导出原理与代码实例讲解 1. 背景介绍 1.1 大数据时代的数据交换需求 在大数据时代,数据已经成为企业的核心资产之一。企业需要从各种异构数据源中获取数据,并将这些数据导入到大数据平台中进行分析和处理。同时,处理
sqoop详细导入导出数据步骤
zp17834994071的博客
07-24 7939
前面已经给大家讲过sqoop的安装，如果还没有安装的可以再去看看详细安装流程： sqoop详细安装与环境配置 sqoop的作用前面也说过主要用于做数据迁移，它用于从关系数据库（如MySQL，Oracle）导入数据到Hadoop HDFS，并从Hadoop文件系统导出到关系数据库的互相导入。 Sqoop功能 将关系型数据库数据导入HDFS，解决HDFS的数据来源问题，使数据能够方便地进入HDFS。 支持HDFS数据导出到关系型数据库，Hadoop计算出的数据可以方便地写回到数据库中。 支持关系型数据库直接将
sqoop部分：sqoop的学习（数据的导入导出）
wyqwilliam的博客
08-26 1429
sqoop的学习： 导入：从关系型数据库往HDFS里边写叫导入 导出：从HDFS导出到MapReduce叫导出   连接关系型数据库的四个参数：    sqoop中查看表数据 sqoop的配置：   sqoop安装的时候随便找一台虚拟机安装就可以。 sqoop-env.sh sqoop-site.sh sqoop的版本：1.4.6 修改/etc/pro...
ERROR tool.ImportTool: Encountered IOException running import job
weixin_67431245的博客
10-14 629
ERROR tool.ImportTool: Encountered IOException running import job错误
sqoop执行报错ERROR tool.ImportTool: Encountered IOException running import job: java.io.FileNotFoundExce
半僧
08-27 9641
ERROR tool.ImportTool: Encountered IOException running import job: java.io.FileNotFoundException: File does not exist: hdfs://xchadoop/usr/local/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/snappy-java-1.0.
ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited
吴成伟的博客
04-20 1504
报错信息 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 1 场景:当sqoop从mysql向hive中导入数据时报错 经检查是sqoop的版本和hadoop不一致导致,更换sqoop版本问题得到解决 ...
Sqoop导入与导出数据
m0_51691291的博客
12-06 5134
1、Sqoop部署 基础环境：hadoop完全分布式集群、hive、zookeeper、hbase 1.1、下载安装包 官网下载安装包：官网链接地址 将下载好的安装包上传至Linux，解压并修改名称 1.2、修改配置文件 进入Sqoop的conf目录下 复制文件并重命名 cp sqoop-env-template.sh sqoop-env.sh 修改sqoop-env.sh文件，并添加如下内容，具体路径应灵活修改 export HADOOP_COMMON_HOME=/usr/local/soft/hado
23-Sqoop数据导入导出1
08-08
### Sqoop导入原理 1. **JDBC检查**：在开始导入前，Sqoop通过JDBC连接数据库，获取表结构和列信息，如数据类型，将其映射为Java类型。 2. **代码生成器**： Sqoop根据表信息生成Java类，用于存储从数据库抽取的...
sqoop的导入导出以及where条件过滤数据导出
晓晓的天空
05-10 3378
sqoop的导入导出以及where条件过滤数据导出
Sqoop异常解决ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: No
烂笔头的专栏
11-03 1万+
最近在做mysql数据导入hive的工作，先前导入的时候没有问题，这两天导另外一张表总是提示 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: No columns to generate for ClassWriter 问题，网上有说是mysql-connector-j
Sqoop1 详细使用和避坑指南
热门推荐
afunyusong的专栏
01-15 1万+
经过这么几天的折腾，发现 Sqoop1 真的比 Sqoop2 方便好用的多，Sqoop2 坑真是太多了，搞不定。Sqoop1 坑少也稳定，但是零基础使用过程中也是有几点需要注意的。 官方下载：Sqoop 官网 官方使用文档 Sqoop-1.4.6安装部署及详细使用介绍 如果像我一样直接用CDH里边自带的话，方便的地方是环境变量什么的不需要我再去配置了，很方便。 要检查安装成功没，直接 s
使用sqoop将mysql数据导入到hadoop
weixin_30586257的博客
12-08 208
hadoop的安装配置这里就不讲了。Sqoop的安装也很简单。完成sqoop的安装后，可以这样测试是否可以连接到mysql(注意：mysql的jar包要放到 SQOOP_HOME/lib 下)：sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --username root --password 19891231结果如下...
sqoop数据的导入和导出
嬡仩岼疧嚡囡陔
10-11 162
  1、将mysql驱动拷贝到sqoop的lib中   2、测试sqoop与mysql的连接 [root@centos1 bin]# sqoop list-databases --connect jdbc:mysql://192.168.1.100:3306/ --username root --password root   3、从mysql导入到hdfs sqoop #...
使用Sqoop1将MySQL 导入数据到 HDFS
zjh_746140129的博客
12-11 2968
本篇文章主要介绍使用Sqoop1将MySQL 导入数据到 HDFS。 说明： 1、Sqoop 与数据库进行通信，获取数据库表的元数据信息  2、Sqoop启动一个Map-Only的MapReduce作业，利用元数据信息并行将数据写入Hadoop 简要步骤： ①、mysql中创建数据库sqoop ②、创建表dept和emp表 ③、插入数据 ④、从mysql导出数据到HDFS ⑤...
Sqoop 工具速查表（中文版）--转
weixin_30535913的博客
03-31 848
Sqoop用户手册（英文版）：http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html 1. 概述 本文档主要对SQOOP的使用进行了说明，参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义，本文档几乎所有参数使用说明都经过了我的实际验证而得到。 2....
Sqoop --导入导出数据
kismet
12-01 1861
1.导入导出数据区分 导入：关系型数据库到hdfs上 导出：hdfs到关系型数据库 导入导出与参数位置没关系！！！ 2.sqoop用法手册： http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html 3.导入数据 3 .1导入全部数据到hdfs bin/sqoop import \ ...
Sqoop导入数据文本格式和Sequence File的比较
maixia24的专栏
07-09 5015
Sqoop可以导入数据到一些不同的文件格式。 文本格式： 文本格式（默认格式）提供一种便于人阅读的数据格式， 这种格式平台无关性，是最简单的结构。 但是，这种文件格式，不可以处理二进制字段（例如数据库中列中的可变二进制类型字段）； 不能区分出空值和包含null的字符串。 SequenceFile： 解决了文本格式的缺点。 序列化文件提供了，更精确的导入数据的替代方法的可能性。 它
sqoop数据导入导出的shell脚本
最新发布
03-22
下面是一个Sqoop数据导入导出的shell脚本示例： 1. 数据导入脚本： ``` sqoop import \ --connect jdbc:mysql://localhost/mydatabase \ --username root \ --password password \ --table mytable \ --target-dir ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值