作业:大数据之Sqoop的使用

最新推荐文章于 2022-06-14 23:33:34 发布
最新推荐文章于 2022-06-14 23:33:34 发布
阅读量203 收藏
点赞数
分类专栏： 技术 文章标签： Sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24990561/article/details/86710649
版权
本文介绍了如何使用Sqoop进行大数据操作，包括下载、解压和配置Sqoop，重点是配置过程，如修改环境变量和添加JDBC驱动，并通过验证步骤确保 Sqoop 可以成功连接到 MySQL 数据库。接着，文章描述了在 MySQL 中创建数据库和表，以及导入数据的过程，但提到了在实际操作中遇到的问题。
摘要由CSDN通过智能技术生成

1 下载sqoop

cd ~/software 
wget http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/

2 解压 sqoop

tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C ~/app/

3 配置 sqoop

（1）将sqoop目录配置到~/.bash_profile
（2）修改配置文件sqoop-env.sh,修改配置文件之前，重命名配置文件

      cd $SQOOP_HOME/conf/
	  $ mv sqoop-env-template.sh sqoop-env.sh
      $ mv sqoop-site-template.xml sqoop-site.xml

   修改配置文件sqoop-env.sh   
      
       export HADOOP_COMMON_HOME=$HADOOP_HOME
	   export HADOOP_MAPRED_HOME=$HADOOP_HOME
	   export HIVE_HOME=$HIVE_HOME
	   export ZOOKEEPER_HOME=$ZK_HOME
	   export ZOOCFGDIR=$ZK_HOME

(3) 拷贝JDBC驱动到sqoop的lib目录下

cp -a mysql-connector-java-5.1.27-bin.jar $SQOOP_HOME/lib

(4) 验证 SQOOP

bin/sqoop help
    Available commands:
      codegen            Generate code to interact with database records
      create-hive-table  Import a table definition into Hive
      eval               Evaluate a SQL statement and display the results
      export             Export an HDFS directory to a database table
      help               List available commands
      import             Import a table from a database to HDFS
      import-all-tables  Import tables from a database to HDFS
      import-mainframe   Import datasets from a mainframe server to HDFS
      job                Work with saved jobs
      list-databases     List available databases on a server
      list-tables        List available tables in a database
      merge              Merge results of incremental imports
      metastore          Run a standalone Sqoop metastore
      version            Display version information
   See 'sqoop help COMMAND' for information on a specific command.

（5）测试Sqoop是否能够连接成功MySQL数据库

bin/sqoop list-databases --connect jdbc:mysql://192.168.217.129:3306/ --username root --password root

出现坑：

ERROR manager.CatalogQueryManager: Failed to list databases
java.sql.SQLException: Access denied for user 'root'@'hadoop001' (using password: YES)
	at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:957)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3878)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3814)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:871)
	at com.mysql.jdbc.MysqlIO.secureAuth411(MysqlIO.java:4323)
	at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1267)
	at com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2255)
	at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2286)
	at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2085)
	at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:795)
	at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:44)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
	at com.mysql.jdbc.Util.handleNewInstance(Util.java:404)
	at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:400)
	at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:327)
	at java.sql.DriverManager.getConnection(DriverManager.java:571)
	at java.sql.DriverManager.getConnection(DriverManager.java:215)
	at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:904)
	at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:59)
	at org.apache.sqoop.manager.CatalogQueryManager.listDatabases(CatalogQueryManager.java:57)
	at org.apache.sqoop.tool.ListDatabasesTool.run(ListDatabasesTool.java:49)
	at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
	at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
	at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:606)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
19/01/30 15:03:12 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: java.sql.SQLException: Access denied for user 'root'@'hadoop001' (using password: YES)
java.lang.RuntimeException: java.sql.SQLException: Access denied for user 'root'@'hadoop001' (using password: YES)
	at org.apache.sqoop.manager.CatalogQueryManager.listDatabases(CatalogQueryManager.java:73)
	at org.apache.sqoop.tool.ListDatabasesTool.run(ListDatabasesTool.java:49)
	at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
	at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
	at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
	at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:606)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
**Caused by: java.sql.SQLException: Access denied for user 'root'@'hadoop001' (using password: YES)**
	at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:957)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3878)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3814)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:871)
	at com.mysql.jdbc.MysqlIO.secureAuth411(MysqlIO.java:4323)
	at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1267)
	at com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2255)
	at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2286)
	at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2085)
	at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:795)
	at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:44)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
	at com.mysql.jdbc.Util.handleNewInstance(Util.java:404)
	at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:400)
	at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:327)
	at java.sql.DriverManager.getConnection(DriverManager.java:571)
	at java.sql.DriverManager.getConnection(DriverManager.java:215)
	at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:904)
	at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:59)
	at org.apache.sqoop.manager.CatalogQueryManager.listD
最低0.47元/天 解锁文章
qq_24990561
关注
专栏目录
sqoop初步使用
pengfeijiuwanli的博客
05-16 376
一、概述 Sqoop是一款开源的数据导入导出工具，可以将传统的关系型数据库导出至HDFS，也可以将HDFS中的数据导出至关系型数据库。 官网： http://sqoop.apache.org/ 原理：在Hadoop生态体系中，计算基本依赖于MR，那么Sqoop也是如此，Sqoop就是将Sqoop语句翻译成MR程序，来实现一个数据导入和导出的操作。那就不难理解到Sqoop就是一个对于InpuFormat和OutputFormat进行特殊定制的MR程序。 二、Sqoop安装 2.1 下载 官方下载地址：htt
sqoop安装与配置
songkaiyu0709的博客
11-29 1636
1.解压 命名 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop 2.Sqoop 的配置文件 cp sqoop-env.sh。 [root@master ~]# cd /opt/sqoop/conf/ [root@master conf]# cp sqoop-env-template..
学习Hadoop第二十二课（Sqoop---数据迁移工具）
u012453843的专栏
10-28 5472
上节课我们一起学习了Hadoop集群测试，这节课我们一起学习一下Sqoop，Sqoop是专门用来迁移数据的，它可以把数据库中的数据迁移到HDFS文件系统，当然也可以从HDFS文件系统导回到数据库。       我来说一下Sqoop的使用场景，假如你们公司有个项目运行好长时间了，积累了大量的数据，现在想升级项目并换种数据库进行存储原来的数据，那么我们就需要先把数据都存放到另一个地方，然后再用新数据
Sqoop导入Oracle数据表到Hive
程裕强的专栏
05-23 1711
1、问题1 [root@node1 sqoop-1.4.7]# bin/sqoop import --connect jdbc:oracle:thin:@192.168.1.31:1521:TPADC --table FUND_INFO --username tpa_query --password tpa_query --split-by VC_FUNDCODE --hive-import -...
Apache Sqoop数据转换安装配置与基本操作命令
ZeroTeam_麒麟
05-25 2942
系统环境CentOS 6.5组件版本 name version Sqoop 1.4.6 Sqoop安装解压 懒的敲了配置环境变量 # SQOOP SQOOP_HOME=/home/hadoop/development/src/sqoop-1.4.6-cdh5.6.0 PATH=$PATH:$SQOOP_HOME/bin export PATHcd 到Sqoop根目录 配置Sqoop
20、大数据之Sqoop与Sqoop的安装部署
小茗同学IT的博客
06-17 962
Sqoop的安装与部署1.下载Sqoop安装包从官网http://sqoop.apache.org下载最新版的Sqoop2.解压并安装Sqooptar  -zxvf sqoop-1.4.6.bin_hadoiop-2.0.4-alpha.tar.gz3.配置Sqoop(1)配置MySQL连接器Sqoop经常与MySQL结合，帮助从其他数据源向MySQL数据库导入数据，或者到处数据，所以需要配置My...
hive_labs:Hive，Sqoop相关实验室
05-10
Sqoop的工作原理是通过MapReduce作业来实现数据的传输，可以自动处理复杂的数据类型转换。 在Sqoop实验室中，你可能涉及以下内容： 1. Sqoop安装：学习如何在Hadoop环境中安装和配置Sqoop。 2. 数据导入：掌握如何...
JAVA调用医疗设备硬件接口的源码-bigdata:大数据
06-11
：作业调度，工作流监控 Chukwa : 用于监控大型分布式系统的监控、数据收集系统 Flume、Sqoop -（监控）数据摄取服务（Flume 使用非结构化/半结构化数据；Sqoop 使用结构化数据）。 下面更多 Logstash ：服务器端...
尚硅谷大数据技术之 Sqoop Oozie Azkaban1
08-03
【尚硅谷大数据技术之 Sqoop Oozie Azkaban1】这篇文章主要介绍了大数据领域中用于工作流调度的重要工具——Azkaban，以及与其相似的Oozie。在大数据处理过程中，工作流调度系统扮演着至关重要的角色，尤其对于处理...
Sqoop问题解决：运行警告Warning: /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/../hcatalog does not exist!
?
04-06 6万+
Sqoop问题解决：运行警告 报错信息： Warning: /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/…/hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /usr/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/…/accu
sqoop安装配置
管子（zero）的杂乱空间
01-11 192
sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar，所以你需要下载hadoop-0.20.2-CDH3B4.tar.gz，解压缩后将hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4....
Sqoop异常:Please set $ACCUMULO_HOME to the root of your Accumulo installation.
12-07 5721
shell-init: 获取当前目录时出错: getcwd: 无法访问父目录: 没有那个文件或目录chdir: 获取当前目录时出错: getcwd: 无法访问父目录: 没有那个文件或目录chdir: 获取当前目录时出错: getcwd: 无法访问父目录: 没有那个文件或目录Warning: /mnt/software/sqoop-1.4.6-cdh5.7.0/../hcatalog do...
Sqoop 1.4.6 安装配置关联hadoop Hive Zookeeper
ZeroTeam_麒麟
05-23 1474
系统环境CentOS 6.5组件版本 name version Sqoop 1.4.6 Sqoop安装解压 懒的敲了配置环境变量 # SQOOP SQOOP_HOME=/home/hadoop/development/src/sqoop-1.4.6-cdh5.6.0 PATH=$PATH:$SQOOP_HOME/bin export PATHcd 到Sqoop根目录 配置Sqoop
数据转换工具sqoop安装和使用
FLY的博客
06-14 1335
Sqoop sqoop1.4.7 sqoop安装 sqoop使用 sqoop导入导出数据
cdh sqoop 配置_Sqoop 1.4.6 安装配置关联Hadoop Hive Zookeeper
weixin_30173361的博客
01-26 283
系统环境组件版本nameversionSqoop1.4.6Sqoop安装解压懒的敲了配置环境变量# SQOOPSQOOP_HOME=/home/Hadoop/development/src/sqoop-1.4.6-cdh5.6.0PATH=$PATH:$SQOOP_HOME/binexport PATHcd 到Sqoop根目录配置Sqoop核心文件主要配置${SQOOP_HOME}/conf/sq...
zookeeper——启动zookeeper中的常见问题
热门推荐
qinglu000的专栏
08-07 12万+
原文地址：http://hi.baidu.com/luhao8415/item/23c6e7f075aa18b730c1993a 最近常有启动zookeeper出现问题的，整理下贴出来，以后也可以参考参考。。 1. 启动zookeeper后出现noClassFound等等错误，例如： Exception in thread "main" java.lang.NoSuchMethodError
Sqoop的安装*
张俊杰 的博客
10-29 483
准备安装包 下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中 解压sqoop安装包到指定目录， 我解压到/root/soft目录下面了 ,解压命令 [root@zjj101 soft]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 重命名配置文件 Sqoop的配置文件与大多数大数据框
Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep解决方法
weixin_30644369的博客
03-26 2607
14/03/26 23:10:04 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISE...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值