sqoop连接mysql的一些错误

原创 2015年11月18日 16:47:12

版本说明:
hadoop 2.2.0
sqoop 1.4.4
mysql 5.1.73
jdk 1.8.0
连接工具:mysql-connector-java-5.1.26-bin.jar
安装完sqoop时运行:
sqoop-list-databases –connectjdbc:mysql://localhost:3306/ –username root -P 连接mysql时出现如下问题:
[hadoop2@master1]$

sqoop-list-tables –connectjdbc:mysql://127.0.0.1/test –username root -P
Enter password:
Exception in thread “main” java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.addDeprecations([Lorg/a
pache/hadoop/conf/Configuration$DeprecationDelta;)V

at org.apache.hadoop.mapreduce.util.ConfigUtil.addDeprecatedKeys(ConfigUtil.java:54)
at org.apache.hadoop.mapreduce.util.ConfigUtil.loadResources(ConfigUtil.java:42)
at org.apache.hadoop.mapred.JobConf.(JobConf.java:119)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:344)
at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:1659)
at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:91)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
at org.apache.sqoop.ConnFactory.instantiateFactories(ConnFactory.java:92)
at org.apache.sqoop.ConnFactory.(ConnFactory.java:62)
at com.cloudera.sqoop.ConnFactory.(ConnFactory.java:36)
at org.apache.sqoop.tool.BaseSqoopTool.init(BaseSqoopTool.java:225)
at org.apache.sqoop.tool.ListTablesTool.run(ListTablesTool.java:44)
at org.apache.sqoop.Sqoop.run(Sqoop.java:145)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:181)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:220)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:229)
at org.apache.sqoop.Sqoop.main(Sqoop.java:238)
提示找不到mapreduce。。。
查看配置文件: cat /etc/profile 发现有个配置错误,多打了一个A,⊙﹏⊙b汗…..修正如下:
export HADOOP_MAPRED_HOME=$HADOOP_HOME

通过 source /etc/profile 使修改生效再次运行,发现错误依旧存在。查看/sqoop/conf目录下的sqoop-env.sh发现有这么一句:
export HADOOP_MAPRED_HOME=/home/hadoop2/softwares/hadoop2.2.0/share/hadoop/mapreduce

这与我们/etc/profile 配置的环境变量相冲突。
我们把hadoop下mapreduce中的jar包拷贝到sqoop的lib库中
cp /home/hadoop2/softwares/hadoop-2.2.0/share/hadoop/mapreduce/*.jar /home/hadoop2/softwares/sqoop/lib
这时运行sqoop连接mysql,输入mysql密码发现成功。
sqoop-list-databases –connect jdbc:mysql://localhost:3306/ –username root -P
Enter password:
15/11/17 09:16:45 INFO manager.MySQLManager;Preparing to use aMySQL straming resultset.
information schema
linktest
mysql
test

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

sqoop 从mysql数据库导入到hive表格错误解决方法

在将mysql数据库中库名为test,表名为table2 的表导入到hive中时,数据库用户名为hive, sqoop import --connect jdbc:mysql://localhost...

hadoop 2.7.4:java.lang.UnsupportedClassVersionError: org/apache/hadoop/mapreduce/lib/output/Sequence

STARTUP_MSG: java = 1.7.0_79 ************************************************************/ 17/10/0...

sqoop的使用及Hive链接mysql bug

执行语句:./sqoop list-databases \ --connect jdbc:mysql://192.168.138.123:3306/ \ --username root \ --pas...

sqoop访问MySql被拒绝

今天在linux上远程访问windows下的mysql时出现如下异常: ERROR manager.SqlManager: Error executing statement: java.sql.SQ...

hadoop 集群 远程访问 mysql(通过sqoop从远程数据库服务器向hdfs迁移数据) 屡次失败的原因

首先,我介绍一下我搭建的环境(win8系统上的1个VM的工作站,跑了6个centos虚拟机),6个节点,3个datanode,1个 sourcemanager 2个namenode。 设置了虚拟网络...

用sqoop进行mysql和hdfs系统间的数据互导

sqoop 是apache下用于RDBMS和HDFS互相导数据的工具。 本文档是sqoop的使用实例,实现从mysql到hdfs互导数据,以及从Mysql导数据到HBase。 下载: h...

hadoop学习之-Sqoop与关数据库(mysql)之间导入实践

一、            Sqoop概述 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如: MySQL ,Oracle ,Postgres等)中...

sqoop找不到mysql驱动

[hadoop2@slave02 ~]$ sqoop import --connect jdbc:mysql://slave02/hadoopguide --table widgets -m 1 W...

Sqoop2学习(二)—将MySQL数据库中数据导入到HDFS中

问题导读:         1、Sqoop客户端如何创建服务端连接?                 Sqoop的安装此处不再介绍,此处接我上一篇博文:Sqoop2学习(一)—Sqoop1.99.3介...
  • NIITYZU
  • NIITYZU
  • 2015年01月17日 18:46
  • 2937

sqoop从mysql导入hdfs数据过程遇到的问题

mysql导入hdfs的过程
  • snowpay
  • snowpay
  • 2017年04月10日 20:26
  • 828
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:sqoop连接mysql的一些错误
举报原因:
原因补充:

(最多只允许输入30个字)