SQOOP
文章平均质量分 50
香帅_Daniel Wu
Daniel Wu
展开
-
07数据导入Sqoop
第1章 Sqoop简介Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目。原创 2022-05-26 00:06:07 · 485 阅读 · 0 评论 -
sqoop创建job出现的一系列问题解决方法
1、一种是会报空指针错误如图:出现这种情况有两种可能,第一种是缺少依赖包:cp /opt/software/mysql-connector-java-5.1.31.jar /opt/install/sqoop/lib/cp /opt/software/commons-lang-2.6.jar /opt/install/sqoop/lib/cp /opt/software/java-json.jar /opt/install/sqoop/lib/第二种是/sqoop/lib/下面多了hive-ex原创 2021-08-07 23:17:52 · 676 阅读 · 0 评论 -
sqoop的表的导入
#------ hdfs -> mysql ------create table sqp_order(create_date date,user_name varchar(20),total_volume decimal(10,2));sqoop export \--connect jdbc:mysql://singlelucky:3306/test \--username root \--password kb12kb12 \--table sqp_order \-m 1 \原创 2021-07-11 20:30:33 · 259 阅读 · 0 评论 -
SQOOP 1.4.6 INSTALL
#1、版本支撑1.4.6|7 => hadoop 2.X + hive 1.X + hbase 1.X => hadoop 3.1.3 + hive 3.1.2 + hbase 2.3.5(not support)#2、操作类型:参考方向为RDBMS -import -> hadoop(hdfs|hive|hbase) -export -> RDBMS(mysql|oracle|...) #3、sqoop146安装 #解压和改名 tar -zxvf /opt/d原创 2021-07-11 20:19:50 · 96 阅读 · 0 评论