使用Sqoop实现Mysql到HDFS的数据导入

最新推荐文章于 2024-08-12 03:07:57 发布

QYHuiiQ

最新推荐文章于 2024-08-12 03:07:57 发布

阅读量3.3k

点赞数 3

分类专栏：大数据之Hadoop 文章标签： mysql hdfs sqoop

本文链接：https://blog.csdn.net/QYHuiiQ/article/details/124717565

版权

大数据之Hadoop 专栏收录该内容

58 篇文章 0 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

该博客详细介绍了如何使用Sqoop将MySQL数据库中的数据导入到HDFS。首先，展示了检查MySQL数据库中的库和表，创建表并填充数据的步骤。接着，通过Sqoop将数据迁移到HDFS，并强调了导入过程要求表必须有主键。最后，演示了导入指定列、特定条件数据以及SQL查询结果数据的方法，并验证了HDFS中的数据导入效果。

摘要由CSDN通过智能技术生成

查看当前mysql下有哪些库

[root@hadoop01 ~]# sqoop list-databases --connect jdbc:mysql://hadoop03:3306 --username root --password 123456;

查看某个库下的所有表

[root@hadoop01 ~]# sqoop list-tables --connect jdbc:mysql://hadoop03:3306/hive --username root --password 123456;

在mysql中新建表

[root@hadoop03 ~]# mysql -uroot -p123456;
mysql> create database test_sqoop;
mysql> use test_sqoop;
mysql> create table emp(
    -> empno INT primary key,
    -> ename VARCHAR(50),
    -> job VARCHAR(50),
    -> mgr INT,
    -> hiredate DATE,
    -&

了解本专栏