Sqoop将mysql数据导入hdfs报错

Sqoop将mysql数据导入hdfs报错,Exception in thread "main" java.lang.NoSuchFieldError: HADOOP_CLASSPATH怎么解决啊啊啊

是因为sqoop-env.sh文件中环境变量写错:

HADOOP_MAPRED_HOME=Hadoop安装路径/share/等等

正确写法:

HADOOP_MAPRED_HOME=hadoop的安装路径(如/usr/local/hadoop-3.1.3)

完整:

2024-09-26 17:21:38,499 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
Enter password:
2024-09-26 17:21:51,538 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
2024-09-26 17:21:51,539 INFO tool.CodeGenTool: Beginning code generation
2024-09-26 17:21:51,974 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `employees` AS t LIMIT 1
2024-09-26 17:21:52,033 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `employees` AS t LIMIT 1
2024-09-26 17:21:52,048 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/local/hadoop-3.1.4/share/hadoop/mapreduce
注: /tmp/sqoop-root/compile/6baa5b229f0a92634359773b3fbfc4f6/employees.java使用或覆盖了已过时的 API。
注: 有关详细信息, 请使用 -Xlint:deprecation 重新编译。
2024-09-26 17:21:54,297 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/6baa5b229f0a92634359773b3fbfc4f6/employees.jar
2024-09-26 17:21:55,254 INFO tool.ImportTool: Destination directory /myfile/sqoop is not present, hence not deleting.
2024-09-26 17:21:55,254 WARN manager.MySQLManager: It looks like you are importing from mysql.
2024-09-26 17:21:55,254 WARN manager.MySQLManager: This transfer can be faster! Use the --direct
2024-09-26 17:21:55,254 WARN manager.MySQLManager: option to exercise a MySQL-specific fast path.
2024-09-26 17:21:55,254 INFO manager.MySQLManager: Setting zero DATETIME behavior to convertToNull (mysql)
2024-09-26 17:21:55,274 INFO mapreduce.ImportJobBase: Beginning import of employees
2024-09-26 17:21:55,288 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar
2024-09-26 17:21:55,320 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
2024-09-26 17:21:55,475 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.128.130:8032
2024-09-26 17:21:58,500 INFO db.DBInputFormat: Using read commited transaction isolation
2024-09-26 17:21:58,502 INFO db.DataDrivenDBInputFormat: BoundingValsQuery: SELECT MIN(`id`), MAX(`id`) FROM `employees`
2024-09-26 17:21:58,556 INFO mapreduce.JobSubmitter: number of splits:3
2024-09-26 17:21:58,845 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1727331894654_0008
2024-09-26 17:21:58,941 INFO conf.Configuration: resource-types.xml not found
2024-09-26 17:21:58,941 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
2024-09-26 17:21:59,039 INFO mapreduce.JobSubmitter: Cleaning up the staging area /tmp/hadoop-yarn/staging/root/.staging/job_1727331894654_0008
Exception in thread "main" java.lang.NoSuchFieldError: HADOOP_CLASSPATH
    at org.apache.hadoop.mapreduce.v2.util.MRApps.setClasspath(MRApps.java:249)
    at org.apache.hadoop.mapred.YARNRunner.createApplicationSubmissionContext(YARNRunner.java:467)
    at org.apache.hadoop.mapred.YARNRunner.submitJob(YARNRunner.java:295)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:242)
    at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1341)
    at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1338)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1729)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1338)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1359)
    at org.apache.sqoop.mapreduce.ImportJobBase.doSubmitJob(ImportJobBase.java:196)
    at org.apache.sqoop.mapreduce.ImportJobBase.runJob(ImportJobBase.java:169)
    at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:266)
    at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:673)
    at org.apache.sqoop.manager.MySQLManager.importTable(MySQLManager.java:118)
    at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:497)
    at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:605)
    at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
    at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
    at org.apache.sqoop.Sqoop.main(Sqoop.java:236)

### 回答1: sqoop是一个用于在Hadoop和关系型数据库之间传输数据的工具。以下是将MySQL数据导入HDFS的步骤: 1. 首先,需要安装sqoop并配置好MySQL的连接信息。 2. 然后,使用以下命令将MySQL导入HDFSsqoop import --connect jdbc:mysql://localhost:3306/mydatabase --username myuser --password mypassword --table mytable --target-dir /myhdfsdir 其中,mydatabase是MySQL数据库名称,myuser和mypassword是MySQL登录用户名和密码,mytable是要导入MySQL表名,/myhdfsdir是HDFS上的目标目录。 3. 执行命令后,sqoop将会自动创建一个HDFS目录,并将MySQL表的数据导入到该目录中。 4. 如果需要将MySQL表的数据导入到Hive中,可以使用以下命令: sqoop import --connect jdbc:mysql://localhost:3306/mydatabase --username myuser --password mypassword --table mytable --hive-import --hive-table myhivetable 其中,myhivetable是要创建的Hive表名。 5. 执行命令后,sqoop将会自动创建一个Hive表,并将MySQL表的数据导入到该表中。 以上就是使用sqoopMySQL数据导入HDFS的步骤。 ### 回答2: Sqoop是Hadoop中非常实用的工具集之一,它的主要功能是在Hadoop中进行结构化的数据转移,它有两个核心组件:导入和导出。本文将讨论Sqoop如何将Mysql数据库中的数据导入到Hadoop的分布式文件系统(HDFS)中。 在开始Sqoop导入MySQL数据HDFS之前,您需要确保已安装好Sqoop以及Hadoop集群和MySQL数据库。如果您没有安装,请首先安装这些工具。 以下是使用Sqoop导入MySQL数据HDFS的步骤: 1.设置MySQL数据库用户和密码: 在导入数据之前,必须设置MySQL的用户名和密码。可使用以下命令创建一个授权用户: create user 'username'@'localhost' identified by 'password'; grant all privileges on *.* to 'username'@'localhost' with grant option; 2.运行Sqoop: 启动Sqoop的命令如下: sqoop-import --connect jdbc:mysql://localhost:3306/test --username username --password password --table tablename --target-dir /path/to/hdfs/directory -m 1 其中,--connect是指定数据库的连接URL,--username和--password是指定数据库的用户名和密码,--table是指定要导入的表名称,--target-dir是指定将数据导入到的HDFS目录,-m是指定使用的MapReduce任务的数量。 3.执行导入任务: 在运行Sqoop命令后,Sqoop将执行导入任务,并将MySQL数据库中的数据导入HDFS目录中。您可以使用以下命令来查看导入数据: hadoop fs -cat /path/to/hdfs/directory/part-m-00000 在本文中,我们介绍了如何使用SqoopMySQL数据库中的数据导入HDFS中。Sqoop是Hadoop生态系统中非常实用的工具,可以帮助用户快速地从各种数据源中导入结构化数据,并将其转换为Hadoop所需的格式。无论您是在进行数据分析、数据挖掘还是其他用途,都可以使用Sqoop来实现您的需求。 ### 回答3: Sqoop是一个用于在Apache Hadoop和关系型数据库之间传输数据的工具,可以将关系型数据库中的数据导入到Hadoop分布式文件系统(HDFS)中或将HDFS中的数据导出到关系型数据库中。 对于将MySQL数据导入HDFS中的流程,首先需要安装好SqoopMySQL数据库,并保证它们可以正常工作。接下来,可以按照下面的步骤进行操作: 1. 首先,需要创建一个导入任务,可以使用Sqoop Import语法来创建任务。例如,sqoop import -connect jdbc:mysql://localhost/test -username root -password xxxx -table students -target-dir /user/hadoop/students可以将MySQL的students表中的数据导入HDFS中的/user/hadoop/students目录中。 2. 在运行Sqoop之前,还需要确保在Hadoop集群中创建了目标目录。可以使用以下命令创建目录:hadoop fs -mkdir /user/hadoop/students。 3. 接下来,运行Sqoop命令以从MySQL数据库中提取数据并将其写入HDFS中的目标目录。在这个过程中,Sqoop会使用Java数据库连接(JDBC)来读取MySQL数据并将其转换为适合HDFS存储的格式。 4. Sqoop还可以支持将数据进行压缩并将其导入HDFS中。根据需要,可以使用如下命令实现数据压缩:sqoop import -connect jdbc:mysql://localhost/test -username root -password xxxx -table students --compression-codec org.apache.hadoop.io.compress.GzipCodec -m 1 --target-dir /user/hadoop/students/gzip。 5. 最后,可以使用HDFS命令hadoop fs -ls /user/hadoop/students来验证数据已经成功导入HDFS中。 总之,使用SqoopMySQL数据导入HDFS中的过程比较简单,只需要遵循上述步骤即可。使用Sqoop可以大大简化数据传输的过程,并且支持许多可配置选项,以便根据数据的不同需要进行灵活的设置。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值