hdfs数据导入mysql_通过sqoop将hdfs数据导入MySQL

本文介绍了如何使用开源工具Sqoop将HDFS中的数据导入到MySQL数据库。首先,通过`hadoop fs -text`命令查看HDFS数据,然后在MySQL中创建接收数据的空表`emp_demo`。接着,使用`sqoop export`命令将HDFS的`/data/emp.txt`导出到MySQL的`emp_demo`表,并指定相关参数如连接信息、表名、导出目录和分隔符。最后,验证数据已成功导入MySQL。
摘要由CSDN通过智能技术生成

简介:Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

一、查看hdfs数据查看,参考

[root@hadoop001 opt]# hadoop fs -text emp.txt /data/emp.txt1250yangyamei doctor1251zhangzhenxing doctor1261zhangjun nurse1265Bob doctor2000 spark nurse

参考:https://www.cnblogs.com/iloverain/p/8809950.html

二、MySQL数据库创建接收数据的空表emp_demo

mysql> select * fromemp_demo;

Emptyset (0.00sec)//表结构

mysql> descemp_demo;+----------+--------------+------+-----+---------+-------+

| Field | Type | Null | Key | Default | Extra |

+----------+--------------+------+-----+---------+-------+

| EMP_NO | int(11) | YES | | NULL | |

| EMP_NAME | varchar(255) | YES | | NULL | |

| Job | varchar

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值