sqoop连接mysql的一些错误

原创 2015年11月18日 16:47:12

版本说明:
hadoop 2.2.0
sqoop 1.4.4
mysql 5.1.73
jdk 1.8.0
连接工具:mysql-connector-java-5.1.26-bin.jar
安装完sqoop时运行:
sqoop-list-databases –connectjdbc:mysql://localhost:3306/ –username root -P 连接mysql时出现如下问题:
[hadoop2@master1]$

sqoop-list-tables –connectjdbc:mysql://127.0.0.1/test –username root -P
Enter password:
Exception in thread “main” java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.addDeprecations([Lorg/a
pache/hadoop/conf/Configuration$DeprecationDelta;)V

at org.apache.hadoop.mapreduce.util.ConfigUtil.addDeprecatedKeys(ConfigUtil.java:54)
at org.apache.hadoop.mapreduce.util.ConfigUtil.loadResources(ConfigUtil.java:42)
at org.apache.hadoop.mapred.JobConf.(JobConf.java:119)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:344)
at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:1659)
at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:91)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
at org.apache.sqoop.ConnFactory.instantiateFactories(ConnFactory.java:92)
at org.apache.sqoop.ConnFactory.(ConnFactory.java:62)
at com.cloudera.sqoop.ConnFactory.(ConnFactory.java:36)
at org.apache.sqoop.tool.BaseSqoopTool.init(BaseSqoopTool.java:225)
at org.apache.sqoop.tool.ListTablesTool.run(ListTablesTool.java:44)
at org.apache.sqoop.Sqoop.run(Sqoop.java:145)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:181)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:220)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:229)
at org.apache.sqoop.Sqoop.main(Sqoop.java:238)
提示找不到mapreduce。。。
查看配置文件: cat /etc/profile 发现有个配置错误,多打了一个A,⊙﹏⊙b汗…..修正如下:
export HADOOP_MAPRED_HOME=$HADOOP_HOME

通过 source /etc/profile 使修改生效再次运行,发现错误依旧存在。查看/sqoop/conf目录下的sqoop-env.sh发现有这么一句:
export HADOOP_MAPRED_HOME=/home/hadoop2/softwares/hadoop2.2.0/share/hadoop/mapreduce

这与我们/etc/profile 配置的环境变量相冲突。
我们把hadoop下mapreduce中的jar包拷贝到sqoop的lib库中
cp /home/hadoop2/softwares/hadoop-2.2.0/share/hadoop/mapreduce/*.jar /home/hadoop2/softwares/sqoop/lib
这时运行sqoop连接mysql,输入mysql密码发现成功。
sqoop-list-databases –connect jdbc:mysql://localhost:3306/ –username root -P
Enter password:
15/11/17 09:16:45 INFO manager.MySQLManager;Preparing to use aMySQL straming resultset.
information schema
linktest
mysql
test

版权声明:本文为博主原创文章,未经博主允许不得转载。

hadoop学习之-Sqoop与关数据库(mysql)之间导入实践

一、            Sqoop概述 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如: MySQL ,Oracle ,Postgres等)中...
  • lichangzai
  • lichangzai
  • 2013年01月25日 16:23
  • 6612

论sqoop1连接数据库的血坑

今天实施现场的同事反馈了一个问题, 说用sqoop1连接mysql时总是连不上, 帮忙研究了半天, 发现sqoop1的一个隐藏问题, 之前在google上也没找到相关方案,这里整理记录一下 sqoo...
  • zjut222
  • zjut222
  • 2017年08月17日 20:11
  • 301

sqoop常用命令

1、列出mysql数据库中的所有数据库  sqoop list-databases --connect jdbc:mysql://localhost:3306/ -username dyh -pass...
  • duan19056
  • duan19056
  • 2013年12月12日 20:08
  • 28950

Sqoop安装及验证

http://blog.itpub.net/28929558/viewspace-1204443  环境: 系统 Red hat linux 6.4 ...
  • u011955252
  • u011955252
  • 2016年01月16日 15:27
  • 852

[原创]安装Sqoop并验证

1.下载包并配置     下载hadoop-0.20.2-CDH3B4.tar.gz、sqoop-1.2.0-CDH3B4.tar.gz, 并解压,将Hadoop-0.20.2-CDH3B4 目...
  • lihui6636
  • lihui6636
  • 2014年05月28日 08:44
  • 389

sqoop访问MySql被拒绝

今天在linux上远程访问windows下的mysql时出现如下异常: ERROR manager.SqlManager: Error executing statement: java.sql.SQ...
  • u011941451
  • u011941451
  • 2016年06月13日 19:40
  • 1463

Sqoop 访问MySql 连接不了

感谢分享:http://blog.csdn.net/zwx19921215/article/details/41867963 今天在linux上远程访问windows下的mysql时出现如下异常: ...
  • wisdom_c_1010
  • wisdom_c_1010
  • 2017年06月30日 10:08
  • 294

解决sqoop需要输入密码的问题

解决sqoop需要输入密码的问题
  • ggz631047367
  • ggz631047367
  • 2016年02月27日 09:59
  • 1363

sqoop 使用过程中提供密码的几种方式详解

概述 本博文基于Sqoop1.4.6版本讲解在使用Sqoop工具从关系型数据库中导入导出数据过程中管理关系型数据库密码的几种方式。 这里我们通过讲解sqoopimport命令来说明: s...
  • u011489205
  • u011489205
  • 2018年01月03日 23:50
  • 94

hive ,sqoop使用的jdbc驱动版本(mysql-connector-java-5.1.23-bin.jar)影响hive使用

2014-04-01 04:16:57,190 ERROR DataNucleus.Plugin (Log4JLogger.java:error(115)) - Bundle "org.eclipse...
  • lili72
  • lili72
  • 2014年05月17日 19:47
  • 3924
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:sqoop连接mysql的一些错误
举报原因:
原因补充:

(最多只允许输入30个字)