sqoop

于 2020-04-08 11:02:25 发布
阅读量160 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lql_h/article/details/105382036
版权

sqoop导入hdfs

官方文档

http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html

 

修改 sqoop-env.sh


#Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/root/app/hadoop



#Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=/root/app/hadoop



#set the path to where bin/hbase is available

export HBASE_HOME=/root/app/hbase



#Set the path to where bin/hive is available

export HIVE_HOME=/root/app/hive



#Set the path for where zookeper config dir is

export ZOOCFGDIR=/root/app/zookeeper/conf


mysql-connector-java-5.1.38.jar添加jar包

java-json.jar

测试运行

bin/sqoop list-databases \

--connect 'jdbc:mysql://192.168.230.1:3306/sqoop?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123


将MySQL数据导入HDFS

bin/sqoop import \

--connect 'jdbc:mysql://192.168.230.1:3306/sqoop?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table stu2 \

--fields-terminated-by '\t' \

-m 1

bin/hdfs dfs -cat /user/root/stu2/*

1       张三    男      30

2       赵四    女      28

Hdfs删除目录

bin/hdfs dfs  -rm -r /user/root/stu

将HDFS数据导入MySQL

bin/sqoop export \

--connect 'jdbc:mysql://192.168.230.1:3306/sqoop?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table stu3 \

--columns uid,name,sex,age \

--export-dir '/user/root/stu2' \

--input-fields-terminated-by "\t" \

-m 1 \

--update-key uid \

--update-mode updateonly

 


bin/sqoop export \

--connect 'jdbc:mysql://192.168.230.1:3306/sqoop?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table stu3 \

--columns uid,name,sex,age \

--export-dir '/user/root/stu2' \

--input-fields-terminated-by "\t" \

-m 1 \

--update-key uid \

--update-mode allowinsert

 

sqoop导入hive

所需jar包

cp /root/app/hive/lib/hive-common-1.1.0-cdh5.10.0.jar /root/app/sqoop/lib/

cp /root/app/hive/lib/hive-shims-* /root/app/sqoop/lib/ 

将mysql导入hive


bin/sqoop import \

--connect 'jdbc:mysql://192.168.230.1:3306/sqoop?useUnicode=true&characterEncoding=utf-8' 

--username root \

--password 123 \

--table stu3 \

--target-dir "/sqoop/job" \

--fields-terminated-by '\t' \

-m 1 \

--hive-import


hive> select * from stu3 ;

OK

1       张三    男      30

2       赵四    女      28

Shell

创建shell目录


[root@cdh1 ~]# mkdir shell

[root@cdh1 ~]# cd shell/

[root@cdh1 shell]# mkdir bin

[root@cdh1 shell]# mkdir conf

[root@cdh1 shell]# mkdir logs

[root@cdh1 shell]# mkdir data

[root@cdh1 shell]# mkdir lib


conf

vi sq_db.config

CONNECTURL='jdbc:mysql://192.168.230.1/test?useUnicode=true&characterEncoding=utf-8'

USERNAME=root

PASSWORD=123

MAPNUM=3



vi common.sh

#!/bin/sh

#切换到当前目录的父目录

home=$(cd `dirname $0`; cd ..; pwd)

bin_home=$home/bin

conf_home=$home/conf

logs_home=$home/logs

data_home=$home/data

lib_home=$home/lib

#sqoop 的根目录

sqoop_home=/root/app/sqoop


bin sqoop_import  

vi sq_db.config

CONNECTURL='jdbc:mysql://192.168.230.1/test?useUnicode=true&characterEncoding=utf-8'

USERNAME=root

PASSWORD=123

MAPNUM=3



vi common.sh

#!/bin/sh

#切换到当前目录的父目录

home=$(cd `dirname $0`; cd ..; pwd)

bin_home=$home/bin

conf_home=$home/conf

logs_home=$home/logs

data_home=$home/data

lib_home=$home/lib

#sqoop 的根目录

sqoop_home=/root/app/sqoop


sqoop执行及验证 


#mysql导入hive

chmod 777 sqoop_import 



./sqoop_import user_info  

./sqoop_import bank_detail

./sqoop_import browse_history

./sqoop_import bill_detail

./sqoop_import loan_time

./sqoop_import overdue



bin/hive -e "select * from user_info limit 10;"


bin hive_create 

#! /bin/sh

source /etc/profile

source ../conf/common.sh

echo "hive数据处理开始......"

#表名称



$hive_home/bin/hive -f $data_home/$1


hive sql 

create table result1

row format delimited

fields terminated by ','

STORED AS TEXTFile

as select mbu.period,count(mbu.uid) as num from (select u.uid,case when

u.birthday>='1990' and u.birthday<='1999' then '90 后' when u.birthday>='1980' and

u.birthday<='1989' then '80 后' when u.birthday>='1970' and u.birthday<='1979'

then '70 后' when u.birthday>='1960' and u.birthday<='1969' then '60 后' when

u.birthday>='1950' and u.birthday<='1959' then '50 后' else '其他' end as period

from middle_bill_user u) mbu group by mbu.period;



create table result2

row format delimited

fields terminated by ','

STORED AS TEXTFile

as select sex,count(uid) as num from middle_bill_user group by sex;



create table result3

row format delimited

fields terminated by ','

STORED AS TEXTFile

as select province,count(uid) as num from middle_bill_user group by province;



create table result4

row format delimited

fields terminated by ','

STORED AS TEXTFile

as select bds.salarylevel,count(bds.uid) as num from

(select bd.uid,

case when bd.amount>=30000 then '30000 以上'

when bd.amount>=20000 and bd.amount<30000 then '20000-30000'

when bd.amount>=10000 and bd.amount<20000 then '10000-20000'

when bd.amount>=5000 and bd.amount<10000 then '5000-10000'

when bd.amount>=1000 and bd.amount<5000 then '1000-5000'

else '1000 以下' end as salarylevel

from

(select b.uid,sum(b.tradeacount) as amount from bank_detail b LEFT JOIN

middle_bill_user u on u.uid=b.uid and b.tradetype=0 group by b.uid) bd) bds group

by bds.salarylevel;



create table result5

row format delimited

fields terminated by ','

STORED AS TEXTFile

as select bdm.banknum,count(bdm.uid) as cardnum from

(select bd.uid,

case when bd.num>=5 then '持卡 5 张及以上'

when bd.num=4 then '持卡 4 张'

when bd.num=3 then '持卡 3 张'

when bd.num=2 then '持卡 2 张'

else '持卡 1 张' end as banknum

from (select uid,count(distinct bankid) as num from bill_detail group by uid) bd) bdm

group by bdm.banknum;



create table result6

row format delimited

fields terminated by ','

STORED AS TEXTFile

as select bd.bankid,count(bd.uid) as usernum from

(select distinct uid, bankid from bill_detail ) bd group by bd.bankid;



create table result7

row format delimited

fields terminated by ','

STORED AS TEXTFile

as select bdtt.consumeproportion,count(bdtt.uid) as num from

(select bdt.uid,

case when bdt.proportion>=3.0 then '300%以上'

when bdt.proportion>=2.0 and bdt.proportion<3.0 then '200%-300%'

when bdt.proportion>=1.0 and bdt.proportion<2.0 then '100%-200%'

when bdt.proportion>=0.5 and bdt.proportion<1.0 then '50%-100%'

else '50%以下' end as consumeproportion from

(select bd.uid,max(case when bd.tradetype=1 then bd.amount else 0 end)/max(case

when bd.tradetype=0 then bd.amount else 0 end) as proportion from (select

uid,tradetype,sum(tradeacount) as amount from bank_detail group by uid,tradetype)

bd group by bd.uid) bdt) bdtt group by bdtt.consumeproportion;



create table result9

row format delimited

fields terminated by ','

STORED AS TEXTFile

as select bdh.amountlevel,count(bdh.uid) as num

from

(select bdt.uid,

case when bdt.amount>=10000 then '10000 以上'

when bdt.amount>=5000 and bdt.amount<10000 then '5000-10000'

when bdt.amount>=1000 and bdt.amount<5000 then '1000-5000'

else '1000 以下' end as amountlevel

from

(select bd.uid,sum(bd.creditlimit) as amount from bill_detail bd group by uid) bdt)

bdh group by bdh.amountlevel;


hive shell执行及验证 


./hive_create middle_bill_user

./hive_create result1

...

./hive_create result10



#如果执行中间遇到错误，比如result1，可以

bin/hive -e "drop table result1;"

然后重新执行



#验证

[root@cdh1 hadoop]# bin/hdfs dfs -cat /user/hive/warehouse/result1/* 

50 后,11032

60 后,10926

70 后,10588

80 后,10937

90 后,9691

 

mysql 脚本


CREATE TABLE `result1` (

  `rid` int(11) NOT NULL AUTO_INCREMENT,

  `period` varchar(10) CHARACTER SET utf8 NOT NULL,

  `num` double DEFAULT NULL,

  PRIMARY KEY (`rid`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1



CREATE TABLE `result2` (

  `rid` int(10) NOT NULL AUTO_INCREMENT,

  `sex` varchar(3) CHARACTER SET utf8 NOT NULL,

  `num` double DEFAULT NULL,

  PRIMARY KEY (`rid`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1



CREATE TABLE `result3` (

  `rid` int(11) NOT NULL AUTO_INCREMENT,

  `province` varchar(10) CHARACTER SET utf8 NOT NULL,

  `num` double DEFAULT NULL,

  PRIMARY KEY (`rid`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1



CREATE TABLE `result4` (

  `rid` int(11) NOT NULL AUTO_INCREMENT,

  `salarylevel` varchar(10) CHARACTER SET utf8 NOT NULL,

  `num` double DEFAULT NULL,

  PRIMARY KEY (`rid`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1



CREATE TABLE `result5` (

  `rid` int(11) NOT NULL AUTO_INCREMENT,

  `banknum` varchar(20) CHARACTER SET utf8 NOT NULL,

  `cardnum` double DEFAULT NULL,

  PRIMARY KEY (`rid`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1



CREATE TABLE `result6` (

  `rid` int(11) NOT NULL AUTO_INCREMENT,

  `bankid` varchar(10) CHARACTER SET utf8 NOT NULL,

  `usernum` double DEFAULT NULL,

  PRIMARY KEY (`rid`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1



CREATE TABLE `result7` (

  `rid` int(11) NOT NULL AUTO_INCREMENT,

  `consumeproportion` varchar(10) CHARACTER SET utf8 NOT NULL,

  `num` double DEFAULT NULL,

  PRIMARY KEY (`rid`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1



CREATE TABLE `result8` (

  `rid` int(11) NOT NULL AUTO_INCREMENT,

  `amountlevel` varchar(20) CHARACTER SET utf8 NOT NULL,

  `num` double DEFAULT NULL,

  PRIMARY KEY (`rid`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1



CREATE TABLE `result9` (

  `rid` int(11) NOT NULL AUTO_INCREMENT,

  `amountlevel` varchar(20) CHARACTER SET utf8 NOT NULL,

  `num` double DEFAULT NULL,

  PRIMARY KEY (`rid`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1



CREATE TABLE `result10` (

  `rid` int(11) NOT NULL AUTO_INCREMENT,

  `sampleLabel` varchar(3) CHARACTER SET utf8 NOT NULL,

  `num` double DEFAULT NULL,

  PRIMARY KEY (`rid`)

) ENGINE=InnoDB DEFAULT CHARSET=latin1


hive导入mysql 


bin/sqoop export \

--connect 'jdbc:mysql://192.168.230.1/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table result1 \

--columns period,num \

--export-dir '/user/hive/warehouse/result1' \

--fields-terminated-by ',' \

-m 1;









bin/sqoop export \

--connect 'jdbc:mysql://192.168.230.1/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table result2 \

--columns sex,num \

--export-dir '/user/hive/warehouse/result2' \

--fields-terminated-by ',' \

-m 1;



bin/sqoop export \

--connect 'jdbc:mysql://192.168.230.1/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table result3 \

--columns province,num \

--export-dir '/user/hive/warehouse/result3' \

--fields-terminated-by ',' \

-m 1;

bin/sqoop export \

--connect 'jdbc:mysql://192.168.230.1/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table result4 \

--columns salarylevel,num \

--export-dir '/user/hive/warehouse/result4' \

--fields-terminated-by ',' \

-m 1;



bin/sqoop export \

--connect 'jdbc:mysql://192.168.230.1/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table result5 \

--columns banknum,cardnum \

--export-dir '/user/hive/warehouse/result5' \

--fields-terminated-by ',' \

-m 1;



bin/sqoop export \

--connect 'jdbc:mysql://192.168.230.1/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table result6 \

--columns bankid,usernum \

--export-dir '/user/hive/warehouse/result6' \

--fields-terminated-by ',' \

-m 1;



bin/sqoop export \

--connect 'jdbc:mysql://192.168.230.1/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table result7 \

--columns consumeproportion,num \

--export-dir '/user/hive/warehouse/result7' \

--fields-terminated-by ',' \

-m 1;



bin/sqoop export \

--connect 'jdbc:mysql://192.168.230.1/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table result8 \

--columns amountlevel,num \

--export-dir '/user/hive/warehouse/result8' \

--fields-terminated-by ',' \

-m 1;



bin/sqoop export \

--connect 'jdbc:mysql://192.168.230.1/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table result9 \

--columns amountlevel,num \

--export-dir '/user/hive/warehouse/result9' \

--fields-terminated-by ',' \

-m 1;



bin/sqoop export \

--connect 'jdbc:mysql://192.168.230.1/test?useUnicode=true&characterEncoding=utf-8' \

--username root \

--password 123 \

--table result10 \

--columns sampleLabel,num \

--export-dir '/user/hive/warehouse/result10' \

--fields-terminated-by ',' \

-m 1;

 

执行过程过程中间报错

 

发现错误日志在cdh2

 

 

在cdh2中/root/app/hadoop/logs/userlogs

cd container_1584960241688_0030_01_000001

cat syslog 

 

lql_h
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop-1.4.7.zip
04-24
Sqoop是Apache Hadoop生态中的一个工具，用于在关系型数据库和Hadoop之间高效地导入导出数据。在这个场景中，我们遇到了一个关于Sqoop运行时的问题，即"找不到或无法加载主类 org.apache.sqoop.sqoop"。这个问题通常...
sqoop系列-TextSplitter踩坑记
数据新玩法
06-05 3897
问题简介 今天早上在数据异构项目中导入添加一个mysql导入hive任务，添加后跑任务，任务执行完，界面日志无报错。但是hive中并没生成对应的表。初步定位脚本执行报错，但是没有返回到界面。 备注：涉及敏感信息的的变量，使用${xxxx} 代替 问题定位 sqoop导入命令如下 sqoop import -Dorg.apache.sqoop.splitter.allow_te...
sqoop使用hcatalog抽取数据异常
wflh323的专栏
04-10 3433
sqoop使用hcatalog抽取数据到hive，开启hdfs sentry权限同步后sqoop hcatalog脚本执行任务失败，错误日志如下: Job commit failed: org.apache.hive.hcatalog.common.HCatException : 2006 : Error adding partition to metastore. Cause : org...
sqoop各参数详解
上等的猪头肉
10-22 2776
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 1.HDFS 导入mysql (默认都号分隔) bin/sqoop import \ --co...
sqoop问题总结
qq_23596677的博客
08-15 450
每次通过sqoop导入MySql的时，都会生成一个以MySql表命名的.java文件，然后打成JAR包，给sqoop提交给hadoop 的MR来解析Hive表中的数据。那我们可以根据报的错误，找到对应的行，改写该文件，编译，重新打包，sqoop可以通过 -jar-file ，–class-name 组合让我们指定运行自己的jar包中的某个class。来解析该hive表中的每行数据。脚本如下：一个...
sqoop1.4.7
07-05
Sqoop是Apache Hadoop生态体系中的一个重要工具，主要用于在关系型数据库管理系统（RDBMS）与Hadoop Distributed File System（HDFS）之间高效地导入和导出数据。标题中的"sqoop1.4.7"指的是该版本的Sqoop，它是针对...
Sqoop
03-26
Sqoop 是一个开源工具，主要用于在关系型数据库（如 MySQL、Oracle 等）与 Apache Hadoop 之间进行数据的导入导出。它为大数据处理提供了便利的数据迁移服务，允许用户将结构化数据从传统的数据库高效地导入到 ...
Sqoop 安装包
10-26
Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、 postgresql...) 间 进 行 数 据 的 传 递 ， 可 以 将 一 个 关 系 型 数 据 库 （ 例 如 ：MySQL ,Oracle ,Postgres 等）中的数据导进到 ...
sqoop-1.4.7.jar
04-20
sqoop框架开发工具使用的jar sqoop-1.4.7.jar 手动安装到maven <groupId>org.apache.sqoop <artifactId>sqoop <version>1.4.7 </dependency>
sqoop常用命令.xlsx
01-15
sqoop的常用指令操作
sqoop使用指南
03-11
### Sqoop 使用指南 #### 一、概述 Apache Sqoop 是一个开源工具，主要用于在 Hadoop 和关系数据库服务器之间高效地传输数据。该工具利用 MapReduce 的并行处理能力来加速数据传输，并确保数据传输过程中的容错性...
sqoop常用命令参数-中文1
08-08
Sqoop 是一个用于在 Apache Hadoop 和传统关系型数据库之间进行数据迁移的工具。它允许用户从 RDBMS 导入数据到 Hadoop 分布式文件系统（HDFS），或者从 HDFS 导出数据到 RDBMS。在这个场景中，我们将详细探讨 Sqoop...
sqoop安装工具
11-15
Sqoop是一款开源的数据迁移工具，主要用于在Hadoop与传统关系型数据库之间进行数据的导入导出。它提供了高效、方便的接口，使得大数据处理变得更加灵活。在这个“sqoop安装工具”压缩包中，包含了 Sqoop 的安装包...
Apache Sqoop Cookbook
02-14
《Apache Sqoop Cookbook》这本书是针对Apache Sqoop这一开源数据导入导出工具的实用指南，旨在帮助用户深入了解和熟练运用Sqoop在Hadoop生态系统中的数据迁移功能。Sqoop作为一个高效、方便的工具，使得从传统的...
sqoop学习资源
10-15
Sqoop 是一个用于在 Apache Hadoop 和传统关系型数据库管理系统（RDBMS）之间传输数据的工具。这个压缩包文件的资源集成了 Sqoop 的学习资料和代码示例，非常适合那些想要深入理解并掌握 Sqoop 技术的人。以下是关于...
sqoop-1.4.6.jar.zip
04-20
sqoop框架开发工具使用的jar sqoop-1.4.6.jar 手动安装到maven <groupId>org.apache.sqoop <artifactId>sqoop <version>1.4.6 </dependency>
sqoop使用.txt
11-06
sqoop数据导出工具
Atlas2.3.0依赖： org.restlet/sqoop-1.4.6.2.3.99.0-195
最新发布
02-19
在IT行业中，我们经常涉及到各种库和框架的集成与使用，这次我们关注的是"Atlas2.3.0"依赖的组件："org.restlet/sqoop-1.4.6.2.3.99.0-195"。这个依赖包含了三个关键的JAR文件：`sqoop-1.4.6.2.3.99.0-195.jar`，`...
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip
10-10
Sqoop 是一个开源工具，主要用于在关系型数据库（如 MySQL、Oracle 等）与 Hadoop 的 HDFS（Hadoop Distributed File System）之间进行数据迁移。这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip" 包含了 ...
Apache Sqoop详解与安装指南
"Apache Sqoop是用于在Hadoop和关系型数据库管理系统(RDBMS)之间传输数据的工具。它通过将导入或导出命令转化为MapReduce任务来实现数据的迁移。Sqoop支持多种RDBMS，如MySQL、Oracle、DB2等，以及Hadoop生态系统的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值