Sqoop部署和操作

最新推荐文章于 2023-10-27 17:06:29 发布
最新推荐文章于 2023-10-27 17:06:29 发布
阅读量137 收藏 1
点赞数
分类专栏： sqoop 文章标签： sqoop hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jim8973/article/details/103730752
版权

Sqoop介绍

sqoop是把数据从RDBMS和hadoop之间进行导入导出，底层是使用MapReduce来实现的，只有Map没有Reduce

部署

  1. 下载CDH版本wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.16.2.tar.gz
  2. 解压 tar -zxvf sqoop-1.4.6-cdh5.16.2.tar.gz -C ~/app/
  3. 配置系统环境变量
    vi .bashrc
export SQOOP_HOME=/home/hadoop/app/sqoop-1.4.6-cdh5.16.2
export PATH=$SQOOP_HOME/bin:$PATH
source .bashrc
  4. 配置文件
    cp sqoop-env-template.sh sqoop-env.sh
export HADOOP_COMMON_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.16.2
export HADOOP_MAPRED_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.16.2
export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.16.2
  5. 拷贝驱动包
    # json & mysql jdbc jar包
cp mysql-connector-java-5.1.27-bin.jar $SQOOP_HOME/lib
cp java-json.jar $SQOOP_HOME/lib
# hive jar包
cp hive-common-1.1.0-cdh5.16.2.jar $SQOOP_HOME/lib
cp hive-shims* $SQOOP_HOME/lib
# hive 配置文件
cp hive-site.xml $SQOOP_HOME/conf

操作命令

  1. 查看数据库和表
    sqoop list-databases \
--connect jdbc:mysql://hadoop02:3306 \
--password abc123 \
--username root

sqoop list-tables \
--connect jdbc:mysql://hadoop02:3306/feidata \
--password abc123 \
--username root

MySql导入到HDFS上

  1. 表的数据导入到HDFS:sqoop import

    sqoop import \
--connect jdbc:mysql://hadoop01:3306/feidata \
--password abc123 \
--username root \
--delete-target-dir \
--table salgrade \
--split-by 'GRADE'
[hadoop@hadoop01 ~]$ hdfs dfs -ls salgrade
19/12/27 14:49:55 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 5 items
-rw-r--r--   1 hadoop supergroup          0 2019-12-27 14:49 salgrade/_SUCCESS
-rw-r--r--   1 hadoop supergroup         11 2019-12-27 14:49 salgrade/part-m-00000
-rw-r--r--   1 hadoop supergroup         12 2019-12-27 14:49 salgrade/part-m-00001
-rw-r--r--   1 hadoop supergroup         12 2019-12-27 14:49 salgrade/part-m-00002
-rw-r--r--   1 hadoop supergroup         24 2019-12-27 14:49 salgrade/part-m-00003
[hadoop@hadoop01 ~]$ hdfs dfs -cat salgrade/part*
19/12/27 14:50:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
1,700,1200
2,1201,1400
3,1401,2000
4,2001,3000
5,3001,9999

    注意：sqoop java.lang.NoClassDefFoundError: org/json/JSONObject，sqoop缺少java-json.jar包.下载java in json的jar包放入进去

  2. Mysql导入到HDFS上，指定字段和分割符,空字段指定为’’,非空字段指定为’0’

    sqoop import \
--connect jdbc:mysql://hadoop01:3306/feidata \
--password abc123 --username root \
--table emp  \
--delete-target-dir \
--mapreduce-job-name FromMySQL2HDFS \
--columns "EMPNO,ENAME,JOB,SAL,COMM" \
--target-dir EMP_COLUMN_QUERY \
--fields-terminated-by '\t' \
--null-string '' \
--null-non-string '0' \
-m 1

[hadoop@hadoop01 ~]$ hdfs dfs -cat EMP_COLUMN_QUERY/part*
19/12/27 15:08:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
7369	SMITH	CLERK	800.00	0
7499	ALLEN	SALESMAN	1600.00	300.00
7521	WARD	SALESMAN	1250.00	500.00
7566	JONES	MANAGER	2975.00	0
7654	MARTIN	SALESMAN	1250.00	1400.00
7698	BLAKE	MANAGER	2850.00	0
7782	CLARK	MANAGER	2450.00	0
7788	SCOTT	ANALYST	3000.00	0
7839	KING	PRESIDENT	5000.00	0
7844	TURNER	SALESMAN	1500.00	0.00
7876	ADAMS	CLERK	1100.00	0
7900	JAMES	CLERK	950.00	0
7902	FORD	ANALYST	3000.00	0
7934	MILLER	CLERK	1300.00	0

    注意：This transfer can be faster! Use the --direct

  3. Mysql通过查询语句执行导出到HDFS上

    sqoop import \
--connect jdbc:mysql://hadoop01:3306/sqoop \
--password abc123 --username root \
--delete-target-dir \
--mapreduce-job-name FromMySQL2HDFS \
--target-dir JOIN \
--fields-terminated-by '\t' \
--null-string '' \
--null-non-string '0' \
--query 'select e.empno,e.ename,e.deptno,d.dname from emp e join dept d on e.deptno=d.deptno and $CONDITIONS' \
-m 1
[hadoop@hadoop01 ~]$ hdfs dfs -cat JOIN/part*
19/12/27 15:19:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
7369	SMITH	20	RESEARCH
7499	ALLEN	30	SALES
7521	WARD	30	SALES
7566	JONES	20	RESEARCH
7654	MARTIN	30	SALES
7698	BLAKE	30	SALES
7782	CLARK	10	ACCOUNTING
7788	SCOTT	20	RESEARCH
7839	KING	10	ACCOUNTING
7844	TURNER	30	SALES
7876	ADAMS	20	RESEARCH
7900	JAMES	30	SALES
7902	FORD	20	RESEARCH
7934	MILLER	10	ACCOUNTING

  4. Mysql指定某个字段的某个值之后数据追加到之前的文件

    sqoop import \
--connect jdbc:mysql://hadoop01:3306/sqoop \
--password abc123 --username root \
--table emp  \
--mapreduce-job-name FromMySQL2HDFS \
--target-dir EMP_APPEND \
--fields-terminated-by '\t' \
--null-string '' \
--incremental append \
--check-column EMPNO \
--last-value 7788 \
--null-non-string '0' \
-m 1

    在这里插入图片描述

  5. 只执行mysql的语句

    sqoop eval \
--connect jdbc:mysql://hadoop01:3306/feidata \
--password mysqladminroot --username root \
--query "insert into dept values (60,'RD', 'BEIJING')"

HDFS导出到MySql上

  • 操作命令

    sqoop export \
--connect jdbc:mysql://hadoop01:3306/feidata \
--password mysqladminroot \
--username root \
--table emp_demo \
--export-dir /user/hadoop/emp \
-m 1

指定列导出数据
sqoop export \
-Dsqoop.export.records.per.statement=10 \  #批量导出
--connect jdbc:mysql://hadoop01:3306/feidata \
--password mysqladminroot \
--username root \
--table emp_demo \
--export-dir /user/hadoop/EMP_COLUMN_QUERY \
--columns "EMPNO,ENAME,JOB,SAL,COMM" \
--fields-terminated-by '\t' \
-m 1

Mysql导入到Hive

  • 在Hive创建表

    CREATE TABLE emp_import_partition(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
)
partitioned by (pt string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

sqoop import \
--connect jdbc:mysql://hadoop01:3306/feidata \
--password mysqladminroot \
--username root \
--table emp \
--hive-overwrite \
--delete-target-dir \
--hive-import --hive-database fei_hive \
--hive-table emp_import_partition \
--hive-partition-key 'pt' \
--hive-partition-value '2019-12-30' \
--fields-terminated-by '\t' \
-m 1

    注意: ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.解决方案：将hive 里面的lib下的hive-exec-**.jar 放到sqoop 的lib 下可以解决以下问题

Hive数据导出到Mysql

  • 操作命令
    sqoop export \
--connect jdbc:mysql://hadoop01:3306/feidata \
--password mysqladminroot \
--username root \
--table dept_demo \
--export-dir /user/hive/warehouse/fei_hive.db/dept \
--fields-terminated-by '\t' \
-m 1

创建sqoop的job

  • 操作命令
    sqoop job --create feidata-sqoop-job -- \
import --connect jdbc:mysql://hadoop01:3306/sqoop \
--password abc123 \
--username root \
--table emp \
--delete-target-dir
    注意:密码明文的，如何从文件中加载密码???

ETL操作

需求：emp和dept表是在Mysql中，把Mysql的数据抽取到Hive进行统计分析，然后将统计结果会写到Mysql中

  1. Hive中创建emp_etl和dept_etl两张表

    CREATE TABLE emp_etl(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

CREATE TABLE dept_etl(
deptno int,
dname string,
loc string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

  2. 将mysql数据导入到hive中

    sqoop import \
--connect jdbc:mysql://hadoop01:3306/sqoop \
--password abc123 \
--username root \
--table emp \
--hive-overwrite \
--delete-target-dir \
--hive-import --hive-database fei_hive \
--hive-table emp_etl \
--fields-terminated-by '\t' \
-m 1

sqoop import \
--connect jdbc:mysql://hadoop01:3306/sqoop \
--password abc123 \
--username root \
--table dept \
--hive-overwrite \
--delete-target-dir \
--hive-import --hive-database fei_hive \
--hive-table dept_etl \
--fields-terminated-by '\t' \
-m 1

  3. 在Hive中创建结果表并加载数据

    CREATE TABLE result_etl(
empno int,
ename string,
deptno int,
dname string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

insert overwrite table result_etl select e.empno, e.ename, e.deptno, d.dname from emp_etl e join dept_etl d on e.deptno=d.deptno;

  4. 把结果数据导出到Mysql中

    在mysql中创建结果表result_etl
create table result_etl(
empno int,
ename varchar(10),
deptno int,
dname varchar(20)
);

把hive统计结果导出到mysql中
sqoop export \
--connect jdbc:mysql://hadoop01:3306/sqoop \
--password abc123 \
--username root \
--table result_etl \
--export-dir /user/hive/warehouse/fei_hive.db/result_etl \
--fields-terminated-by '\t' \
-m 1
jim8973
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据-sqoop.pptx
12-24
Sqoop2和Sqoop1的功能性对比 Sqoop的版本区别 功能 Sqoop1 Sqoop2 用于所有主要 RDBMS 的连接器 支持 不支持解决办法： 使用已在以下数据库上执行测试的通用 JDBC 连接器： Microsoft SQL Server 、 PostgreSQL 、 ...
三分钟学会Sqoop安装与部署
搞数据
09-11 1763
注解：狗头.jpg 这里解压后的文件名还是原文件名，所以各位小白希望该名称的可以解压后改，这里特地做了一次错误示范，解压前只能改压缩包名称，不能控制解压后文件名称，这里可以再重命名一次。用户可以将数据从结构化存储器抽取到Hadoop中，用于进一步的处理，抽取的数据可以被mapreduce程序使用，也可以被其他类似与Hive、HBase的工具使用。另外，sqoop是关系型数据库与Hadoop的数据交互，故需要配置关系型数据库，这里选择MySQL作为示例。sqoop是一个开源工具，数据搬运工，
Sqoop的安装部署
weixin_56541207的博客
03-16 3577
sqoop的安装
Sqoop 安装部署
m0_72168501的博客
04-07 595
Sqoop 的安装部署
sqoop部署
qq_49096000的博客
11-18 1051
Sqoop是一款开源的工具，主要用于在Hadoop Hive与传统的数据库mysql间进行数据的传递，可以将一个关系型数据库 MySQL中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。本次实验主要完成了Sqoop的安装及验证通过Sqoop将MySQL数据导入到Hive数据仓库中。
安装部署ETL工具Sqoop的详细流程
邹么的博客
05-16 201
一、验证Hadoop集群环境是否正常备注：该部分的安装需要在 Hadoop 已经成功安装的基础上,并且要求 Hadoop已经正常启动。使用hdfs dfs -ls / 或者 hadoop fs -ls /命令看可否正常显示 HDFS 上的目录列表；
barclamp-sqoop:[UNMAINTAINED] Hadoop Sqoop
05-21
核心气压钳操作撬棒部署机制的基本功能，而其他气压钳则将系统扩展为特定应用。 此barclamp的功能并不孤单，需要Crowbar Framework 关于这个钳子 有关此barclamp的信息，请参阅 接触 要与开发者联系，您有多种...
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark Spark Core Spark SQL Spark Streaming 五、Flink 核心概念综述 ...
自己动手做大数据系统
09-27
本书从 OpenStack云平台搭建、软件部署、需求开发实现到结果展示，以纵向 角度讲解了生产性大数据项目...境，用户可以在线登录云平台来动手操作书中的数据和代码，登录网址 请参考http://www.feiguyun.com/support。
小白快速掌握CDH的安装和配置视频教程
10-14
从基础知识点到安装部署、集群配置、各种服务安装到增加新节点，通过知识点 + 实际操作的方式帮助小白快速掌握CDH的安装和配置。 课程亮点 1，Cloudera Manager可视化、自动部署和配置，稳定性好 2，理论+操作，...
sqoop组件部署.doc
05-27
本文档主要是sqoop组件部署。欢迎大家关注数据科学，本人不断为大家提供数据科学相关知识，如有疑问请随时沟通不断优化
sqoop-cdh安装包
03-07
sqoop-cdh安装过程及异常处理，并提供安装使用的工具包
Sqoop集群搭建.
09-21
Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.
安装部署 Sqoop
qq_58476985的博客
03-23 171
配置环境变量 vi /etc/profile，配置好之后输入source /etc/profile。满足上面的两个条件，表示 Hadoop 正常启动。且要求 Hadoop 已经正常启动。Hadoop 正常启动的验证过。该页面的结果跟 Hadoop 安装部分浏览器展示结果一致。该部分的安装需要在 Hadoop 已经成功安装的基础上,并。2、将安装包上传至虚拟机，然后解压。（2） 使用浏览器查看相应界面。1、配置 MySQL 连接器。4、启动并验证 Sqoop。
sqoop入门简介 | 安装部署 | sqoop案例展示
懵懂bigdata象
04-17 6848
ETL工具sqoop 文章目录ETL工具sqoopsqoop简介sqoop安装sqoop常用命令sqoop案例 sqoop简介 Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop项目开始于2009年，最早是作为Hadoop的一个第三
Sqoop安装部署实战
chongfa2008的博客
08-05 279
1：概述 Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具。 导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统。 导出数据：从Hadoop的文件系统中导出数据到关系数据库。 2：Sqoop的工作机制 将导入和导出的命令翻译成mapreduce程序实现 在翻译出的mapreduce中主要是对inputformat和outputformat进...
sqoop部署流程
yujianbujianqwe的博客
08-19 168
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
Sqoop安装部署及使用
最新发布
xtsheng123456的博客
10-27 145
sqoop是mysql/oracle/DB2等RDBMS体系与hdfs/hive/hbase等hadoop生态体系之间传输数据的一种工具；sqoop的工作机制是将导入导出命令翻译成MapReduce程序实现sqoop可以理解为: SQL-->hadoop and hadoop-->SQL数据导入导出:数据导入: RDBMS-->hadoop数据导出: hadoop-->RDBMS。
搞定大数据平台：从入门到实战
01-15
本课程主要是构建大数据平台，包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署，都是手把手操作，不会出现跳讲和断讲，0基础同学也能一站式搞定大数据平台环境。
Sqoop导入导出操作介绍
04-04
Sqoop导入操作： 1. 首先需要安装Sqoop，并配置好相关参数，比如数据库连接信息、Hadoop集群信息等。 2. 使用Sqoop的import命令来指定需要导入的数据表、目标路径等参数。可以选择导入全表数据，也可以指定导入...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值