Sqoop导数据用法

最新推荐文章于 2021-01-18 10:07:49 发布

微笑着流浪

最新推荐文章于 2021-01-18 10:07:49 发布

阅读量273

点赞数 2

分类专栏： sqoop 文章标签： sqoop基本操作 sqoop导数据 sqoop基本用法 sqoop增量导入

本文链接：https://blog.csdn.net/wyht1222/article/details/100176046

版权

本文介绍了Sqoop的基本操作，包括安装配置、验证数据库连接，以及详细步骤教您如何从RDBMS导入数据到HDFS、Hive和HBase，同时讲解了从HDFS导出数据到RDBMS的方法，重点讨论了增量导入的策略。

摘要由CSDN通过智能技术生成

Sqoop基本操作

一：Sqoop的安装以及配置

1.1：将Sqoop解压

1.2:重命名配置文件并进行配置：

mv sqoop-env-template.sh sqoop-env.sh

1.3:将JDBC的驱动考到Sqoop的lib目录下

cp mysql-connector-java-5.1.27-bin.jar /opt/sqoop/lib/

二：验证Sqoop是否能连接数据库

sqoop list-databases --connect 'jdbc:mysql://hadoop01:3306' --username 'root' --password 'root'

三：Sqoop导入

（Sqoop的导入导出以HDFS为参照物）

在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。

3.1：RDBMS到HDFS

3.1.1确定mysql服务正常并开启

service mysqld status  查看mysql的状态

mysqld (pid  1526) is running...

 

service mysqld start   启动mysql

Starting mysqld:                                           [  OK  ]

 

mysql -uroot -proot  进入mysql

3.1.2在mysql中新建一张表并插入数据

create database test;

 

create table sqltest(

Id int,

Name varchar(20)

最低0.47元/天解锁文章