Sqoop学习文档(1)
【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】
总内容:Sqoop基本概念、Sqoop的安装配置、Sqoop import、Sqoop export
此篇为Sqoop学习文档(1),接Sqoop学习文档(2)
sqoop收集的是结构化数据,sqoop全量导入
一、Sqoop基本概念
1>Sqoop:SQL-to-Hadoop
2>连接传统关系型数据库和Hadoop的桥梁
把关系型数据库(Mysql)的数据导入到Hadoop系统,如HDFS/Hbase/Hive
把数据从Hadoop系统抽取并导出到关系型数据库里
3>利用MapReduce加快数据传输速度
4>批处理方式进行数据传输
二、Sqoop安装配置
安装Sqoop的前提是已经具备Java和Hadoop的环境。
(1)下载并解压
到官网 进行下载
(2)修改配置文件
(3)拷贝JDBC驱动
拷贝jdbc驱动到sqoop的lib目录下
cp mysql-connector-java-5.1.27-bin.jar /soft/sqoop/lib/
(4)验证Sqoop
bin/sqoop help
会出现一些命令,如下:
(5)测试Sqoop是否能够成功连接数据库
bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password root # 下面出现你自己的mysql表名
【有问题或错误,请私信我将及时改正;借鉴文章标明出处,谢谢】