sqoop从mysql导入hdfs数据过程遇到的问题

最新推荐文章于 2024-08-12 03:07:57 发布
最新推荐文章于 2024-08-12 03:07:57 发布
阅读量4.7k 收藏 4
点赞数 1
分类专栏： hadoop 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snowpay/article/details/70024211
版权
本文介绍了在使用sqoop从mysql导入数据到hdfs时遇到的四个问题及解决方法。问题包括：1) hdfs服务未启动；2) yarn.nodemanager.aux-services配置错误；3) yarn.nodemanager.local-dirs配置不匹配导致文件找不到；4) mapreduce_shuffle auxService不存在。通过检查和修正配置文件，重新启动相关服务，最终成功运行sqoop导入任务。
摘要由CSDN通过智能技术生成

1.由于没启动dfs报错laocalhost:9000端口拒绝访问:

使用jps指令查看集群的的启动状态发现时namenode,datenode未启动

使用start-dfs.sh   启动hdfs

2.java.lang.IllegalArgumentException: The ServiceName: mapreduce-shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers

报错

问题    由于yarn-site.xml中的

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

value属性配置错误     下划线


3.java.io.FileNotFoundException: File /hadoop/hadoop/hdfs/nm-local-dir/usercache/root/appcache/application

最低0.47元/天 解锁文章
snowpay
关注
专栏目录
使用Sqoop实现Mysql到HDFS的数据导入
QYHuiiQ
05-11 3314
查看当前mysql下有哪些库 [root@hadoop01 ~]# sqoop list-databases --connect jdbc:mysql://hadoop03:3306 --username root --password 123456; 查看某个库下的所有表 [root@hadoop01 ~]# sqoop list-tables --connect jdbc:mysql://hadoop03:3306/hive --username root --password 12345.
Sqoop导入mysql数据到HDFS
蜗牛往上爬
08-11 2214
Sqoop导入mysql数据到HDFS 打算把mysql中爬虫爬到的数据导入到HDFS中供后续学习kylin以及研究使用，以前导数据经常会自己写一段java脚本去导入，这次打算用sqoop试一试效果 首先看了下mysql的数据量，不到900万条数据，不多不少 从官网下载好sqoop进行安装 http://sqoop.apache.org/docs/1.99.7/admin/Inst...
尝试用sqoop将mysql数据导入hdfs中失败==
u013029726的博客
06-11 1682
使用命令行：sqoop import --connect jdbc:mysql://*.*.*.*:3306/test?characterEncoding=UTF-8--username aaa--password 'bbb' -tablelll 尝试将mysql的数据导入到hdfs中，结果一直导入失败，并显示： Warning: /usr/local/sqoop/sqoop/../hba...
使用sqoop将mysql 数据导入hdfs时各种报错
linz的博客
09-16 3024
信息 18/06/29 10:45:08 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: The connection property 'zeroDateTimeBehavior' ac...
sqoop将数据从mysql中导入到hdfs中
最新发布
weixin_40204206的博客
08-12 28
我整理的一些关于【MySQL,SQL】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/yOSbkR使用Sqoop将数据从MySQL导入HDFS的完整指导 在大数据技术的生态系统中，Sqoop是一款常用的工具，它主要用于在Hadoop和关系数据库之间传输大量数据。本文将详细指导...
sqoop从Mysql往HDFS导数据失败
xxl0769的博客
12-20 1427
脚本没问题的情况下 1.看sqoop是否能连上数据库 2.看连接的数据库IP、密码、端口是否正确
sqoop2写入hdfs报错
wonder的地下室
09-12 1092
1.Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot delete /output/.aa5fadaa-873e-4b6e-aa7c-42302c5f8452. Name node is in safe mode.关闭h
hdfs mysql sqoop 失败_Sqoop采集mysql数据到HDFS遇到的坑
weixin_42552637的博客
02-15 699
1. 在sqoop进行数据迁移时，我写了几个简单的脚本，便于后续做定时任务① 要进行数据导出的数据库信息配置脚本(db_xxx.sh)#!/bin/sh# 数据库信息export username='root'export password='12345678'export database_url='jdbc:mysql://localhost:3306'# 数据库名字export base_d...
Sqoop从Mysql导入HDFS、HIVE
斑马的地盘
01-14 479
Sqoop全量导入mysql到HDFS bin/sqoop import \ 数据库名 --connect jdbc:mysql://node-1:3306/userdb \ --username root \ --password hadoop \ --delete-targer-dir \ -- targer-dir /sqoopresult \ 指定数据在HDFS中的路径 --fields-terminated-by '\t' \ 指定字段分隔符，默认为"," --split-by id 当MT大于一
hdfs数据导入mysql_通过sqoop将hdfs数据导入MySQL
weixin_32678995的博客
01-27 2082
简介：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。一、查看hdfs数据查看，参考[root@hadoop001 opt]# hadoop f...
【Hadoop】通过Sqoop实现从MySQL导入数据到HDFS
你不来，再美的天地，都狼藉 ~
05-11 7738
一文带你了解MySQL通过Sqoop导入数据到Hdfs的详细过程。
利用sqoop从hdfs导出数据到mysql
weixin_34402090的博客
06-06 282
网上说的千篇一律，但是都不能解决问题。 从hdfs导出数据到mysql时使用命令 bin/sqoop sqoop-export --connect jdbc:mysql://127.0.0.1:3306/databsename --username root --password 123456 --table tablename --export-dir ...
Sqoop 导入数据时的部分任务错误
09-27 1023
查了半天，也测试了提示说的那两个配置，并不是这个问题，最后发现创建 Hadoop 集群时有台机器的 hostname 设置的不对，改过来就好了，唉，搭建集群时的一个疏忽，导致后面查了半天这个问题，在这里记录下，也给有同样问题的朋友一个提示。
Sqoop全量导入mysql表数据到HDFS
m0_63086929的博客
10-21 2612
Sqoop全量导入mysql表数据到HDFS
Sqoop常见报错及解决方式
清平乐的技术专栏
07-07 6081
1.java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver 原因：[SQOOP_HOME]/lib/下缺少mysql驱动包 2.Caused by: java.lang.RuntimeException: Can’t parse input data: '800 1 620025 塑料油箱 '；java.io.IOException: Can’t export data, please check
使用sqoop导入导出mysql、hdfs、hive出现的问题
小太阳~
07-15 7327
问题1：java.lang.ClassNotFoundException: Class widgets not found执行的命令：sqoop import --connect jdbc:mysql://localhost:3306/hadoopguide --username root --password root --table widgets //其中，hadoopguide是数据库名称
sqoop import ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeExceptrion
热门推荐
xq_iris的专栏
02-04 1万+
使用sqoop 将mysql中的表上传到hdfs中时  出现error sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeExceptrion 解决方法： 把mysql-connector-java  的jar包 复制到 /sqoop/lib 的目录下 jar包下载地址： http://download.csdn.net/d
一次“奇怪”的Sqoop导入报Zookeeper ConnectionException异常的分析
咕噜咕噜大数据
05-26 497
环境： CDH 6.3.0 已开启Kerberos Java 版本: 1.8.0_181 症状表现： 在普通用户edwuser下，在一台CDH客户端节点机器上，执行以下sqoop import命令，将MYSQL数据导入HBASE中： sqoop import \ --connectjdbc:mysql://db01:3306/test?characterEncoding=UTF-8 \ --username root \ --password mysql \ --table cust_info \ --h
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值