sqoop使用password-file报错

最新推荐文章于 2021-08-10 21:56:11 发布
最新推荐文章于 2021-08-10 21:56:11 发布
阅读量1.7k 收藏
点赞数 2
分类专栏： 杂七杂八 大数据 文章标签： exception
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luosayiran/article/details/68067401
版权

sqoop支持将password放在password-file中，这个文件可以是本地文件（file:///home/luosa/password）,也可以在hdfs上（/user/luosa/password）。

但是，我们执行命令时确保错：

denied for user 'retail_dba'@'localhost' (using password: YES)
java.sql.SQLException: Access denied for user 'retail_dba'@'localhost' (using password: YES)
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:996)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3887)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3823)
at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:870)
at com.mysql.jdbc.MysqlIO.secureAuth411(MysqlIO.java:4332)
at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1258)
at com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2234)
at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2265)
at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2064)
at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:790)
at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:44)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at com.mysql.jdbc.Util.handleNewInstance(Util.java:377)
at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:395)
at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:325)
at java.sql.DriverManager.getConnection(DriverManager.java:571)
at java.sql.DriverManager.getConnection(DriverManager.java:215)
at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:880)
at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:52)
at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:739)
at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:762)
at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:270)
at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:241)
at org.apache.sqoop.manager.SqlManager.getColumnTypes(SqlManager.java:227)
at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:295)
at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1833)
at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1645)
at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:96)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:478)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)
at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
15/09/12 06:53:35 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: No columns to generate for ClassWriter
at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1651)
at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:96)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:478)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)
at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
at org.apache.sqoop.Sqoop.main(Sqoop.java:236)

具体的原因就是password的格式不对，只要使用命令：

echo -n "password"  >> /home/luosa/password

问题就解决了。

luosayiran
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
sqoop-1.4.6-cdh5.13.2.tar
12-19
sqoopCDH版本 1、sqoop的解压并配置环境变量： tar -zxvf /bigdata/sqoop-1.4.6-cdh5.13.2.tar.gz -C /usr/local 配置环境变量： vi /etc/profile export SQOOP_HOME=/usr/local/sqoop-1.4.6-cdh5.13.2 export PATH=$PATH:$SQOOP_HOME/bin: 重新加载环境变量： source /etc/profile which sqoop 2、配置sqoop的环境配置文件： mv /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.template.sh /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.sh vi /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.sh export HADOOP_COMMON_HOME=/usr/local/hadoop-2.6.0-cdh5.13.2 export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.6.0-cdh5.13.2 export HBASE_HOME=/usr/local/hbase-1.2.0-cdh5.13.2 export HIVE_HOME=/usr/local/hive-1.1.0-cdh5.13.2 #export ZOOCFGDIR= 3、将mysql的驱动包copy到sqoop目录中的lib目录下： cp /bigdata/mysql-connector-java-5.1.32.jar /usr/local/sqoop-1.4.6-cdh5.13.2/lib 4、测试 sqoop version
Sqoop的基础用法
qq_43697577的博客
07-28 228
Sqoop 1. 简介 Sqoop是一种旨在在Hadoop与关系数据库或大型机之间传输数据的工具。您可以使用Sqoop从关系数据库管理系统（RDBMS）（例如MySQL或Oracle）或大型机将数据导入Hadoop分布式文件系统（HDFS），在Hadoop MapReduce中转换数据，然后将数据导出回RDBMS 。 Sqoop依靠数据库描述要导入的数据的模式来自动执行此过程的大部分过程。Sqoop使用MapReduce导入和导出数据，这提供了并行操作以及容错能力。 2. 安装 [root@qphone
Sqoop --password-file 设置密码
sunrising_hill的专栏
07-15 1329
使用这种方式指定密码时，文件既可以放在本地，也可以放在集群上： 使用echo passwd > ~/.passwd，将密码写入文件， chmod 400 ~/.passwd 将密码文件设置为当前用户只读，防止他人知悉该密码。 sqoop-list-databases --connect jdbc:mysql://m.mysql.com:3306 --username root --p...
sqoop 4种密码使用模式
qq_34897849的博客
12-31 1083
背景 sqoop是一个用来将Hadoop和关系型数据库（RDBMS）中的数据进行相互转移的工具。在使用sqoop时，我们需要提供数据库的访问密码。目前sqoop共支持4种输入密码的方式： 明文模式 交互模式 文件模式 别名模式 笔者使用的是CDH6.2.1里的sqoop。在待会的演示中，我们将以mysql作为我们的关系型数据库。 明文模式 明文模式是最为简单的方式。我们可以在执行sqoop命令...
sqoop之import之部分数据导入和密码文件
若兰幽竹
05-26 503
sqoop之import之部分数据导入和密码文件一、前置工作二、测试数据三、案例演示 一、前置工作 参考：sqoop之import入门案例汇总 二、测试数据 在MySQL中创建emp表，建表语句及数据如下： /* Navicat MySQL Data Transfer Source Server : local-mysql Source Server Version : 50722 Source Host : localhost:3306 Source Da
sqoop参数详解
youhuakongzhi的博客
05-20 2876
Import和export参数解释 Common arguments: --connect <jdbc-uri> ：连接RDBMS的jdbc连接字符串，例如：–connect jdbc:mysql:// MYSQL_SERVER:PORT/DBNAME。 --connection-manager <class-name> ： --hadoop-home <hdir> ： --username <username> ：连接RDBMS所使用的用户名。
sqoop安装配置以及报错修改
XX__X____的博客
08-10 4819
sqoop安装配置 开篇碎碎念： 此文章写于我做项目途中，从hive将数据传递给mysql数据库需要安装sqoop，途中踩了很多坑，就把这些记录下来。 安装sqoop之前，java和hadoop的安装都是必须的，以及hive和mysql的安装我写成了另一篇文章，可以去我空间找。相关下载网盘链接为了方便我也放在了里面（顺便一提阿里云盘真香）。 下面进入正题。 文章目录sqoop安装配置1. 验证java安装2. 验证Hadoop安装3. 安装sqoop4. 配置.bsahrc5. 配置sqoop6. 下载配置
rsync 远程同步记录--解决password-file权限问题。
热门推荐
finalheart的博客
08-21 1万+
一。简介 rsync 是一个做远程同步用的Linux命令。 （文章没有提及Windows版的cwrsync） 安装方式：1.ubuntu apt-get install rsync 2. centosyum install rsync 不再赘述。 启动：客户端和服务端都得启动。 rsync --daemon 就启动了。 ps -ef|grep rs...
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)暂时解决方案
someby的博客
04-08 560
使用Sqoop将数据从Hive导入MySQL后启动mysql就出现无法登陆的问题，在参考了很多资料后依然没有完整的解决，现在将自己的暂时的解决方案做一个记录。输入mysql -u root -p后就出现一下提示root@xxxx-Inspiron-5555:/home/hadoop# mysql -u root -pEnter password: ERROR 1045 (28000): Acces...
sqoop 使用过程中提供密码的几种方式详解
爱编程
01-03 6464
概述 本博文基于Sqoop1.4.6版本讲解在使用Sqoop工具从关系型数据库中导入导出数据过程中管理关系型数据库密码的几种方式。 这里我们通过讲解sqoopimport命令来说明： sqoop import在实际应用中主要用于将数据从关系型数据库（比如MySQL，SqlServer，Oracle等）导入到大数据集群文件系统（比如HDFS文件系统，HBase列式存储系统以及Hive数
sqoop-1.4.4-cdh5.0.6.tar
05-18
sqoop-1.4.6-cdh5.5.2.tar
05-16
欢迎大家持续关注，并自行下载！谢谢 sqoop-1.4.6-cdh5.5.2.tar
sqoop-orc-import
05-06
Sqoop with orc file Version : sqoop1.4.5 (CDH540) Description 在Sqoop import的方法中，增加生成ORC File格式的命令. Build 源码取自于 使用ant build Usage 在import命令中，增加: --as-orcdatafile Examples ...
sqoop-connector-generic-jdbc-1.99.7.jar
08-04
sqoop-connector-generic-jdbc-1.99.7.jar sqoop-connector-generic-jdbc-1.99.7.jar
node-v16.12.0-darwin-x64.tar.xz
最新发布
04-23
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
试用Dev Containers的示例项目-Go
04-23
计算机技术是指评价计算机系统的各种知识和技能的总称。它涵盖了计算机硬件、软件、网络和信息安全等方面。计算机技术的发展使我们能够进行高效的数据处理、信息存储和传输。现代计算机技术包括操作系统、数据库管理、编程语言、算法设计等。同时，人工智能、云计算和大数据等新兴技术也在不断推动计算机技术的进步。计算机技术的应用广泛，涵盖了各个领域，如商业、医疗、教育和娱乐等。随着计算机技术的不断革新，我们可以更加高效地实现预期自动化、标准化
NTsky新闻发布v1.0测试版(提供JavaBean).zip
04-23
### 内容概要： 《NTsky新闻发布v1.0测试版》是一款基于 Java 开发的新闻发布系统的测试版本，旨在为新闻机构和媒体提供一个简单易用的新闻发布平台。该系统具有基本的新闻发布和管理功能，包括新闻分类、新闻编辑、新闻发布等核心功能。此外，该版本还提供了 JavaBean，使开发人员能够方便地将系统集成到自己的项目中，快速实现新闻发布的功能。 ### 适用人群： 本测试版本适用于新闻机构、媒体从业者以及Java开发人员。如果你是一家新闻机构或媒体，希望拥有一个简单易用的新闻发布平台，方便快捷地发布和管理新闻，那么这个测试版本将为你提供一个初步的体验。同时，如果你是一名Java开发人员，希望学习和掌握新闻发布系统的开发技术，并且对新闻行业有一定的了解，那么通过这个测试版本，你可以获取到一些JavaBean，并且可以参考系统的设计和实现，为你的项目开发提供参考和借鉴。无论是从业务需求还是技术学习的角度，该测试版本都将为你提供一定的帮助和支持。
JavaScript介绍.zip
04-23
javascript，JavaScript 最初由 Netscape 公司的 Brendan Eich 在 1995 年开发，用于 Netscape Navigator 浏览器。随着时间的推移，JavaScript 成为了网页开发中不可或缺的一部分，并且其应用范围已经远远超出了浏览器，成为了全栈开发的重要工具。
15-21.php
04-23
15-21.php
#!/bin/bash sqoop job --delete haibaicai sqoop job --create haibaicai \ -- import \ --connect jdbc:mysql://192.168.253.128:3306:3306/dbhome \ --driver com.mysql.jdbc.Driver \ --username root \ --password-file /sqoop/pwd/sqoopPWD.pwd \ --table haibaicai \ --delete-target-dir \ --target-dir /user/hive/warehouse/dbhome.db/haibaicai \ --fields-terminated-by '\001' sqoop job --exec haibaicai
06-08
这个脚本的作用是使用sqoop将MySQL中的haibaicai表导入到Hive的dbhome数据库中的haibaicai表中，导入时使用'\001'作为字段分隔符，并且在导入前会删除Hive中已有的目标目录。 但是，这个脚本中的一些参数可能存在问题： 1. `--connect`参数的URL是不正确的，应该是`jdbc:mysql://192.168.253.128:3306/dbhome`，不需要写两个冒号。 2. `--delete-target-dir`参数在一些版本的sqoop中已被弃用，可以使用`--delete-target-dir -m 1`替代。 3. `--fields-terminated-by`参数应该是`--fields-terminated-by '\001'`，而不是`--fields-terminated-by \001`。 建议您对脚本进行以下修改： ``` #!/bin/bash sqoop job --delete haibaicai sqoop job --create haibaicai \ --import \ --connect jdbc:mysql://192.168.253.128:3306/dbhome \ --driver com.mysql.jdbc.Driver \ --username root \ --password-file /sqoop/pwd/sqoopPWD.pwd \ --table haibaicai \ --delete-target-dir -m 1 \ --target-dir /user/hive/warehouse/dbhome.db/haibaicai \ --fields-terminated-by '\001' sqoop job --exec haibaicai ``` 这个修改后的脚本应该可以正常运行了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值