寒暄的博客

在生产环境中，肯定不能直接去跑命令，需要使用脚本文件，然后定时执行脚本文件即可。cd /usr/hdkmkdir jobcd jobvi RDBMS2HDFS.optimport--connect jdbc:mysql://hadoop01:3306/cs --username root --password 123456 --table staff1 --target-dir /user/cs --delete-target-dir --num-mappers 1

导出数据在sqoop中，“导出”是指从HDFS中将数据导入到关系型数据库中。使用export关键字。sqoop export \--connect jdbc:mysql://hadoop01:3306/cs \--username root \--password 123456 \--table staff1 \--num-mappers 1 \--export-dir /user/hive/warehouse/staff_hive \--input-fields-terminated-b

CDH集成Sqoop2Sqoop是Hadoop生态中与Hadoop关系很紧密的一个组件，所以在CDH中无序下载多余的包，可以直接进行集成。第一步：切换到需要集成的集群，点击添加服务。第二步：选择Sqoop2服务。第三步：选择安装节点，然后一直点继续第四步：安装完成，重启集群。注意：生产环境中主要用Sqoop1。...

准备一些数据:在MySQL中新建一个测试库,新建一个表,插入两行数据：CREATE DATABASE cs;CREATE TABLE cs.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));INSERT INTO cs.staff VALUES (1, 'Thomas', 'Male');INSERT INTO cs.staff VAL

下载链接:http://archive.apache.org/dist/sqoop/1.4.6/下载后传到集群中master上。前提环境：JDK1.8环境,Hadoop2.7环境。第一步：解压缩，重命名。解压缩:tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O5sF8y2S-1592815672765)(https://i.loli.net/2020/06/22

Sqoop简介Sqoop全称SQL to Hadoop,主要用于Hadoop与SQL（这里的SQL指关系型数据库）进行数据的传递。可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS中的数据导入到关系型数据库中。Sqoop本身就是作为Hadoop的一个第三方模块存在，后来为了方便迭代才作为一个单独的Apache项目存在。Sqoop1中1.4.7（不包含1.4.7）之前的版本用于CentOS6版本，1.4.7（包含1.4.7）用于CentOS7版本。Sqoop2用于测试，不用于