使用Sqoop实现HDFS到mysql的数据导出

最新推荐文章于 2023-12-13 14:04:08 发布

QYHuiiQ

最新推荐文章于 2023-12-13 14:04:08 发布

阅读量2.1k

点赞数 2

分类专栏：大数据之Hadoop 文章标签： hdfs mysql sqoop

本文链接：https://blog.csdn.net/QYHuiiQ/article/details/124758299

版权

大数据之Hadoop 专栏收录该内容

58 篇文章 0 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用Sqoop将HDFS中的数据导入到MySQL数据库。首先在HDFS上进行数据导入，然后在MySQL创建目标表，最后通过Sqoop成功将HDFS数据导出并同步至MySQL，验证了数据一致性。

摘要由CSDN通过智能技术生成

在实现数据导出之前，我们先做一下数据导入，使HDFS中有数据。

将之前已经存在的表emp的数据导入至HDFS

[root@hadoop01 ~]# sqoop import --connect jdbc:mysql://hadoop03:3306/test_sqoop --username root --password 123456 --table emp --target-dir hdfs://hadoop01:8020/test_sqoop_hdfs/emp --delete-target-dir;

可以看到数据已经导入：

在mysql中创建要接收HDFS导出数据的表

[root@hadoop03 ~]# mysql -uroot -p123456
mysql> use test_sqoop;
mysql> create table emp_export(
    -> empno INT primary key,
    -> ename VARCHAR(50),
    -> job VARCHAR(50),
    -> mgr INT,
    -> hiredate DATE,
    -> sal DECIMAL(7,

了解本专栏