从零教你如何通过Sqoop把Hadoop HDFS上的数据同步数据到MySQL中（附带数据集，报错提示并修改）

最新推荐文章于 2024-06-19 20:47:47 发布
最新推荐文章于 2024-06-19 20:47:47 发布
阅读量2.4k 收藏 14
点赞数 2
文章标签： mysql linux sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50975494/article/details/125229213
版权
本文详细介绍了如何通过Sqoop将处理后的Hadoop HDFS上考研成绩Excel数据同步到MySQL数据库中。步骤包括数据预处理、Hadoop HDFS启动、Hive数据库和表的创建，以及Sqoop导入过程中的错误分析和解决，最终成功将数据导入到MySQL的kaoyan_data表中。
摘要由CSDN通过智能技术生成

1 数据处理：

将三个“考研成绩”Excel表格处理后存入虚拟机

数据在此：

链接：https://pan.baidu.com/s/1DzNirNz5Xdno2G5UVguTVQ 
提取码：0309

 

2.Hadoop：

开启HDFS：start-all.sh

并且查看进程是否全部开启！

3 HBase（可以不用该步骤）

开启HBase：start-hbase.sh

并且查看进程是否全部开启！

 

4. Hive 操作

最低0.47元/天 解锁文章
我是第五呀
关注
  • 2
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
用Sqoop把数据从HDFS导入到MYSQL
weixir123的博客
03-14 678
sqoop是一个能把数据在关系型数据库和HDFS之间互相传输的工具。在这里，我写一下用java 程序来实现sqoop把数据从HDFS写入到MYSQL。在接触sqoop之前，我自己写了一个传输类来实现数据从HDFS到MYSQL。这里简单说一下时间的思想:1、在MYSQL中创建一个参数表A，用来记录要传输的表的表名B和字段。2、HDFS上的数据的格式和MYSQL中参数表A中B表的字段的数量一样。3、从...
通过sqoop将hdfs数据导入MySQL
weixin_30443731的博客
07-12 1086
简介：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 一、查看hdfs数据查看，参考 [root@hadoop001 opt]...
sqoop基础知识归纳
最新发布
qq_49974844的博客
06-19 305
-target-dir /user/hive/warehouse/test.db/t_chongzhi2/day=20220728 \ --该路径为新创建的hive表的分区路径。--export-dir /user/hive/warehouse/test.db/t_chongzhi2/day=20230607 --需要导出的HDFS上数据的目录。--last-value '2022-08-26 18:40:38.1' \ --last-value要比上次更新的最后一个值大，本次更新需要大于该值。
Hadoop集群（第10期）_MySQL关系数据库
weixin_33995481的博客
06-12 392
1、MySQL安装     MySQL下载地址：http://www.mysql.com/downloads/ 1.1 Windows平台 　　1）准备软件 　　MySQL版本：mysql-5.5.21-win32.msi 　　2）安装环境： 　　操作系统：Windows 7旗舰版 　　3）开始安装 　　第一步：双击"msi"安装文件，出现如图1.1-1界面——"MySQL安...
sqoop HDFS 导入 mysql
guohan的博客
02-17 1014
一、hdfs导入mysql 注意：在mysql导入hive时可以自动创建表，而hdfs导入mysql时则不能在mysql中自动创建表，因此导入前准备工作，在mysql中建议需要导入的表！ 1、最简单的导入 准备工作：在mysql中建表 create table emp_import (id int,name varchar(45),age int); hdfs中/emp_db下存...
sqoop导出hdfs数据到mysql_《Hadoop实战手册》一1.5 使用Sqoop从HDFS导出数据到MySQL
weixin_34698042的博客
01-31 581
本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.5节，作者： 【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者： 傅杰 , 赵磊 , 卢学裕 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。1.5 使用Sqoop从HDFS导出数据到MySQLSqoop是Apache基金会下的一个项目，是庞大Hadoop生态圈...
hdfs数据导入mysql_通过sqoop将hdfs数据导入MySQL
weixin_32678995的博客
01-27 2081
简介：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。一、查看hdfs数据查看，参考[root@hadoop001 opt]# hadoop f...
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
在本主题中，我们将深入探讨 Sqoop 的导入功能，特别是如何将数据从 MySQL 和 Sybase 数据库导入到 HDFS，并进一步加载到 Hive 表中。 ### 一、Sqoop 导入介绍 1. **语法结构**： Sqoop 导入数据的基本语法如下：...
hdfs上数据导入mysql_使用Sqoop将MySQL与HDFS数据导入导出
weixin_39559119的博客
01-21 1261
一、拷贝mysql数据表到hdfs上1.确保mysql可以远程连接, 防火墙等已关闭或开端口, hadoop已启动, hdfs可访问2.确保hdfs上不存在目标文件夹, sqoop会自动生成文件夹, 若已存在则报错，要么加上--delete-target-dir3.命令如下, 参数自行修改, mysql所在IP为192.168.203.7, 用户名密码为root, Mysql数据表teacher,...
使用Sqoop实现HDFS到mysql的数据导出
QYHuiiQ
05-13 2155
在实现数据导出之前，我们先做一下数据导入，使HDFS中有数据。 将之前已经存在的表emp的数据导入至HDFS [root@hadoop01 ~]# sqoop import --connect jdbc:mysql://hadoop03:3306/test_sqoop --username root --password 123456 --table emp --target-dir hdfs://hadoop01:8020/test_sqoop_hdfs/emp --delete-target-dir
sqoop从hdfs导入mysql_通过sqoop将hdfs数据导入MySQL
weixin_42300574的博客
01-19 771
简介：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。一、查看hdfs数据查看，参考[root@hadoop001 opt]# hadoop f...
sqoop 从HDFS导出数据到MySQL8
10-27 1236
当数仓运算完成后，需要导出结果到 MySQL 中时，报数据解析错误；经过一通检查发现 sqoop 语句写的并没有什么错误，分隔符也没问题，也都正常分割了，但就是往 MySQL 导入时报格式匹配错误；
使用Sqoop1.4.7将Hadoop分区表同步到MySQL_实践带源码复制可用
玉麒麟
04-02 281
sqoop同步Hadoop分区表指定分区数据到MySQL源码级脚本，复制可用
Sqoop 数据从HDFS导入到mysql
LinYuYiZhiZouHaoMa的博客
12-07 2021
1 下载安装sqoop，在hadoop集群的任一一个节点上执行 tar fvxz sqoop-1.3.0-cdh3u5.tar.gz mv sqoop-1.3.0-cdh3u5/  sqoop 拷贝相关的jar包 [kyo@hadoop1 ~]$ cp hadoop/hadoop-core-0.20.2-cdh3u5.jar /home/kyo/sqoop/lib/
Sqoop数据导出第2关：HDFS数据导出至Mysql内
qq_61604164的博客
12-06 1526
Sqoop数据导出 第2关：HDFS数据导出至Mysql内
Sqoop-day03_export-从hdfs中到出数据到MySQL中_小总结
weixin_48370579的博客
06-19 884
export-从hdfs中到出数据到MySQL中 HDFSToMySQL 编写脚本，并保存为HDFSToMySQL.conf 在往关系型数据库中导出的时候我们要先在关系型数据库中创建好库以及表，这些sqoop不会帮我们完成。 export --connect jdbc:mysql://master:3306/student?useUnicode=true&characterEncod...
使用Sqoop将HDFS中数据导入MYSQL中
sn_gis的专栏
06-11 1995
使用Sqoop将HDFS中数据导入MYSQL中
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值