大数据之Sqoop(二):Sqoop使用案例

最新推荐文章于 2022-05-22 23:09:55 发布
最新推荐文章于 2022-05-22 23:09:55 发布
阅读量382 收藏 2
点赞数
分类专栏： 大数据 文章标签： hadoop hive sqoop cloudera hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maoyuanming0806/article/details/104045160
版权

记录sqoop的一些使用，复习下，此前项目中有用到，复习下

安装与部署请参考

文章目录

使用案例

导入数据

在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。

RDBMS到HDFS

在Mysql中新建一张表并插入一些数据

create database company_test;
create table company_test.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
insert into company_test.staff(name, sex) values('Thomas', 'Male');
insert into company_test.staff(name, sex) values('Catalina', 'FeMale');

mysql> select * from company_test.staff;
+----+----------+--------+
| id | name     | sex    |
+----+----------+--------+
|  1 | Thomas   | Male   |
|  2 | Catalina | FeMale |
+----+----------+--------+

全部导入

bin/sqoop import \
--connect jdbc:mysql://192.168.31.201:3306/company_test \
--username root \
--password 123456 \
--table staff \
--target-dir /sqoop/test/company_test \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

注意这是导数据到hdfs上，要注意目录是否存在，如上至少要保证/sqoop/test/存在，否则job会失败

检查导入结果

-rw-r--r--   2 root supergroup          0 2020-01-15 20:02 /sqoop/test/company_test/_SUCCESS
-rw-r--r--   2 root supergroup         32 2020-01-15 20:02 /sqoop/test/company_test/part-m-00000

[root@mym sqoop]# hdfs dfs -cat /sqoop/test/company_test/part-m-0000
Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /home/mym/apps/hadoop-2.4.1/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
20/01/15 20:03:29 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
cat: `/sqoop/test/company_test/part-m-0000': No such file or directory
[root@mym sqoop]# hdfs dfs -cat /sqoop/test/company_test/part-m-00000
Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /home/mym/apps/hadoop-2.4.1/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
20/01/15 20:03:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
1       Thomas  Male
2       Catalina        FeMale

查询导入

bin/sqoop import \
--connect jdbc:mysql://192.168.31.201:3306/company_test \
--username root \
--password 123456 \
--target-dir /sqoop/test/company_test \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

提示：must contain ‘$CONDITIONS’ in WHERE clause.

如果query后使用的是双引号，则$CONDITIONS前必须加转移符，防止shell识别为自己的变量。

导入指定列

bin/sqoop import \
--connect jdbc:mysql://192.168.31.201:3306/company_test \
--username root \
--password 123456 \
--target-dir /sqoop/test/company_test \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns id,sex \
--table staff

提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格

使用sqoop关键字筛选查询导入数据

bin/sqoop import \
--connect jdbc:mysql://192.168.31.201:3306/company_test \
--username root \
--password 123456 \
--table staff \
--target-dir /sqoop/test/company_test \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--where "id=1"
RDBMS到Hive
bin/sqoop import \
--connect jdbc:mysql://192.168.31.201:3306/company_test \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table staff_hive

提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库，第一步默认的临时目录是/user/atguigu/表名

根据日志可以看到已经成功，进入到hive去检查下

hive (default)> show tables;
OK
tab_name
staff_hive
student_test
Time taken: 0.416 seconds, Fetched: 12 row(s)
hive (default)> select * from staff_hive;
OK
staff_hive.id   staff_hive.name staff_hive.sex
1       Thomas  Male
2       Catalina        FeMale
Time taken: 0.689 seconds, Fetched: 2 row(s)
RDBMS到Hbase
bin/sqoop import \
--connect jdbc:mysql://192.168.31.201:3306/company_test \
--username root \
--password 123456 \
--table staff \
--columns "id,name,sex" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_company" \
--num-mappers 1 \
--split-by id

提示：sqoop1.4.6只支持HBase1.0.1之前的版本的自动创建HBase表的功能

如下报错

20/01/15 20:49:16 INFO mapreduce.HBaseImportJob: Creating missing HBase table hbase_company
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V
        at org.apache.sqoop.mapreduce.HBaseImportJob.jobSetup(HBaseImportJob.java:222)
        at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:264)
        at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:673)
        at org.apache.sqoop.manager.MySQLManager.importTable(MySQLManager.java:118)
        at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:497)
        at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:236)

解决方案：手动创建HBase表

hbase> create ‘hbase_company’,‘info’

在HBase中scan这张表得到如下内容

hbase> scan ‘hbase_company’

导出数据

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。

HIVE/HDFS到RDBMS
bin/sqoop export \
--connect jdbc:mysql://mym:3306/company_test \
--username root \
--password 123456 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

提示：Mysql中如果表不存在，不会自动创建，会报错

脚本打包

使用opt格式的文件打包sqoop命令，然后执行

1) 创建一个.opt文件

mkdir opt

touch opt/job_HDFS2RDBMS.opt

2) 编写sqoop脚本

一行一个

import
--connect
jdbc:mysql://192.168.31.201:3306/company_test
--username
root
--password
123456
--target-dir
/sqoop/test/company_test
--delete-target-dir
--num-mappers
1
--fields-terminated-by
"\t"
--columns
id,sex
--table
staff

3) 执行该脚本

bin/sqoop --options-file opt/job_HDFS2RDBMS.opt

Sqoop一些常用命令及参数

部分Sqoop操作时的常用参数，以供参考，深入学习的去看对应类的源代码。

序号命令类说明
1importImportTool将数据导入到集群
2exportExportTool将集群数据导出
3codegenCodeGenTool获取数据库中某张表数据生成Java并打包Jar
4create-hive-tableCreateHiveTableTool创建Hive表
5evalEvalSqlTool查看SQL执行结果
6import-all-tablesImportAllTablesTool导入某个数据库下所有表到HDFS中
7jobJobTool用来生成一个sqoop的任务，生成后，该任务并不执行，除非使用命令执行该任务。
8list-databasesListDatabasesTool列出所有数据库名
9list-tablesListTablesTool列出某个数据库下所有表
10mergeMergeTool将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中
11metastoreMetastoreTool记录sqoop job的元数据信息，如果不启动metastore实例，则默认的元数据存储目录为：~/.sqoop，如果要更改存储目录，可以在配置文件sqoop-site.xml中进行更改。
12helpHelpTool打印sqoop帮助信息
13versionVersionTool打印sqoop版本信息
小明同学YYDS
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop导入mysql到hbase报错 java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.HBaseAdmin.<init>
hui7822922a的博客
08-01 6106
sqoop导入mysql到hbase报错 java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.HBaseAdmin.<init> bin/sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://172.16.92.xx:3306/db_c...
mysql sqoop hbase_查看mysql的数据总量Sqoop导入mysql数据到Hbase
weixin_36180471的博客
02-26 238
[code]sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://11.143.18.29:3306/db_1" --username root --password root --query "select rowkey,dtTime from tb1 where 1=1 and $CONDITIONS" --...
3.2.3 Sqoop 数据迁移工具, 导入数据import, MySQL到HDFS/Hive, 导出数据export,增量数据导入, Sqoop job,常用命令及参数
chengh1993的博客
01-01 654
目录 数据迁移工具 -- Sqoop 第一部分 Sqoop概述 第二部分 安装配置 第三部分 应用案例 第 1 节 导入数据import MySQL 到 HDFS MySQL 到 Hive 第 2 节 导出数据export 第 3 节 增量数据导入 变化数据捕获(CDC) Append方式 第 4 节 执行 job 第四部分 常用命令及参数 第 1 节 常用命令 第 2 节 常用参数 公用参数 -- 数据库连接 公用参数 -- import 公用参数 -- export
sqoop-1.4.6安装与使用
weixin_30443731的博客
08-30 199
一、安装1.下载sqoop-1.4.6-bin.tar.gz并解压2.修改conf/sqoop-env.sh，设置如下变量：export HADOOP_COMMON_HOME=/usr/local/hadoop-2.6.3export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.6.3export HBASE_HOME=/usr/local/hbase-1.1.3...
sqoop 在hbase运行时出现job: java.io.IOException: java.lang.reflect.InvocationTargetException解决办法
热门推荐
鑫鑫23的博客
05-26 1万+
最近在学习Linux下sqoop连接hbase数据库并导入数据时出现如下错误： job: java.io.IOException: java.lang.reflect.InvocationTargetException         at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(Con        
Sqoop 数据迁移
sunbin11220904的博客
07-23 237
Sqoop是一个用于在Hadoop和关系数据库之间传输数据的工具 将数据从RDBMS导入到Hadoop HDFS、Hive、HBase 从Hadoop导出数据到RDBMS 将导入或导出命令翻译成MapReduce程序来并行操作和容错 目标用户 系统管理员、数据库管理员 大数据分析师、大数据开发工程师等 MySQL数据导入HDFS 准备工作：mysql中建库建表 mysql> create database retail_db; mysql> use retail_db; mysql> so
job全异常 mapreduce_Sqoop导入数据异常处理
weixin_39945679的博客
02-01 247
1.错误提示(没有json.jar包)19/01/30 11:59:48 INFO manager.DirectMySQLManager: Beginning mysqldump fast path import19/01/30 11:59:48 INFO mapreduce.ImportJobBase: Beginning import of t3Exception in thread "mai...
大数据之sqoop
06-15
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一...本视频从讲解sqoop原理开始,详细讲述了sqoop的安装,使用案例和常用的命令,实现快速上手sqoop的使用
实战Sqoop数据导入及大数据用户行为案例分析
02-20
实战Sqoop数据导入及大数据用户行为案例分析（全套视频+代码+工具+课件讲义） 内容包括： 01_CDH版本框架的介绍 02_CDH版本框架的环境部署 03_Sqoop的介绍及其实现原理 04_Sqoop的安装部署及连接测试 05_Sqoop将...
尚硅谷大数据技术之Sqoop1
最新发布
08-04
第 4 章 Sqoop 的简单使用案例4.1 导入数据在 Sqoop 中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBAS
大数据实例：网站用户行为分析.docx
11-30
Hive、MySQL、HBase数据互导是指使用Sqoop将数据从Hive导入到MySQL和HBase中。数据可视化分析是指使用R对MySQL中的数据进行可视化分析。 Linux系统安装 Linux系统安装是指安装和配置Linux操作系统。安装步骤包括...
Sqoop企业级大数据迁移方案全方位实战视频教程
10-21
从零开始讲解大数据业务及数据采集和迁移需求，以案例驱动的方式讲解基于Sqoop构建高性能的分布式数据迁移和同步平台。 课程亮点 1，知识体系完备，从小白到大神各阶段读者均能学有所获。 2，生动形象，化繁为简，...
Mysql数据导入到Hbase报错：org.apache.hadoop.hbase.HTableDescriptor.addFamily
萌萌小七的专栏
07-05 6769
Sqoop-1.4.6 Hbase-1.2.1 Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V at org.apach
网关状态检测 echo request/reply
ROBIN12JBJ的博客
05-22 4773
计算机中的IP地址和子网掩码的关系：标识该计算机所在的网络号、子网号以及主机号，当访问某个ip时，首先将此ip与本地子网掩码进行“与”运算，判断是否与本机ip和本机子网掩码“与”运算的结果一致。若一致，即要访问的ip与本机ip处于同一网段，查找本地arp表（arp广播，获取待访问ip的MAC地址），封装MAC帧，通过网卡发送出去，不经过网关，直接通过MAC地址访问。 例：A的ip地址为192.168.31.44，子网掩码为255.255.255.0；B的ip地址为192.168.31.201，子网掩码为25
ubuntu手动设置ip地址和网关
jsc723的专栏
01-25 6748
ubuntu虚拟机以桥接模式连接主机 假设网卡名字是ens33 主机所在的子网是192.168.31.0/24 网关在192.168.31.1 （以上可以在主机上用ipconfig查询） 如果我想手动给虚拟机分配一个ip地址（192.168.31.201），并设置默认网关 则可以在Ubuntu上做如下设置 sudo ifconfig ens33 192.168.31.201 netmask 255.255.255.0 sudo route add default gw 192.168.31.1 ens33
Sqoop导入mysql数据到Hbase
Ran
01-30 7751
Sqoop导入mysql数据到Hbase

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值