Hadoop快速入门里头单机模式操作方法运行错误的解决办法

最新推荐文章于 2023-04-15 02:58:06 发布
最新推荐文章于 2023-04-15 02:58:06 发布
阅读量369 收藏 1
点赞数 1
分类专栏： 2019年5月 2019年3月 2019年1月 2018年9月 2018年11月 2017年6月 2015年3月 2006年5月 2010年9月 文章标签： 大数据 程序员 编程语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38460284/article/details/90206532
版权
在尝试Hadoop的第一个例子时遇到`java.io.IOException`和`ZipException`，错误源于jar文件未找到。解决方法包括设置环境变量和确保jar包名称正确。通过编辑`/etc/profile`添加HADOOP_HOME和HADOOP_CONF_DIR，并在HADOOP_HOME目录下检查并修正jar包名称，问题得以解决。
摘要由CSDN通过智能技术生成

尝试了一下Hadoop，没想到按照教程来，第一个例子就报错了……

错误如下：

$ bin/hadoop jar hadoop-mapred-examples-0.21.0.jar grep input output ‘dfs[a-z.]+’

Exception in thread “main” java.io.IOException: Error opening job jar: hadoop-mapred-examples-0.21.0.jar

at org.apache.hadoop.util.RunJar.main(RunJar.java:90)

Caused by: java.util.zip.ZipException: error in opening zip file

at java.util.zip.ZipFile.open(Native Method)

at java.util.zip.ZipFile.(ZipFile.java:127)

at java.util.jar.JarFile.(JarFile.java:135)

at java.util.jar.JarFile.(JarFile.java:72)

at org.apache.hadoop.util.RunJar.main(RunJar.java:88)

仔细一看， java.util.zip.ZipException是文件找不到的异常。主要原因是hadoop-mapred-examples-0.21.0.jar 无法定位。所以叻，办法很简单

1）把环境变量先配了（如果是在hadoop的home目录下操作的话，大可不必配，大家可以去尝试）

$vim /etc/profile

添加这两行

export HADOOP_HOME=/home/linrui/programfiles/dev/hadoop

最低0.47元/天 解锁文章
大数据框架Hadoop学习
关注
专栏目录
Hadoop学习——Hadoop单机运行Grep实例（包含错误解决方法）
weixin_52135595的博客
08-29 4936
上一篇安装了Hadoop单机，所以今天打算先用Hadoop的mapreduce自带的Grep实例实践一下，顺带测试Hadoop是否成功安装。（不是水博客，有在努力填坑）实践开始之前，我们需要了解一下Grep实例，Grep（缩写来自Globally search a Regular Expression and Print）是一种强大的文本搜索工具，它能使用特定模式匹配（包括正则表达式）搜索文本。...
解决hadoop本地运行报错
10-11
org.apache.hadoop.io.nativeio.NativeIO.java解决办法 将org放入项目的工程目录下 本地运行MR必备的源码包，本地运行MR必备的源码包，本地运行MR必备的源码包，
单机Hadoop 详细步骤
steven_cici的博客
12-16 134
export JAVA_HOME=/usr/local/jdk1.8.0_151 export JRE_HOME=/usr/local/jdk1.8.0_151/jre export PATH=$PATH:/usr/local/jdk1.8.0_151/bin export CLASSPATH=./:/usr/local/jdk1.8.0_151/lib:/usr/local/jdk1.8.0-1...
hadoop单机错误解决方法a
linianzhenti的专栏
10-27 855
在hadoop上传文件、格式化出现如下错误 1、mkdir: Call From java.net.UnknownHostException: master: master: unknown erro 2、report: Call From localhost/127.0.0.1 to localhost:9000 failed on connection exception:
在windows本地运行hadoop job出错
weixin_30538029的博客
06-13 126
1.在本地解压hadoop 　　tar -zxvf hadoop-3.0.2.tar.gz 2.在windows本地运行hadoop需要本地文件系统的支持，下载配置 　　https://github.com/steveloughran/winutils 3.解压下载文件后 将该bin目录下的文件全部复制到hadoop/bin里，相同的文件可以选择不覆盖 4.在环境变量中配置H...
Hadoop 十分钟快速入门
11-06
本快速入门将带你深入了解Hadoop生态系统的核心组件，包括HDFS、MapReduce、Hive和HBase，并通过集群配置实例让你快速上手。 首先，我们来探讨Hadoop。Hadoop是Apache基金会的一个开源项目，其核心设计思想是分布式...
云计算应用实验报告 武汉理工大学云计算应用 hadoop单机模式和伪分布式
02-23
5. **单机模式操作**：创建输入文件，运行WordCount示例程序，验证Hadoop的运行。 6. **伪分布式模式操作**：修改Hadoop配置文件，启动Hadoop服务，再次运行WordCount，以验证伪分布式模式的正确性。 **实验过程...
hadoop运行常见的错误
"零点起航"的专栏
12-28 789
常见错误： 1.       出现类似： ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs … 的异常，是因为先格式化了 namenode ，后来又修改了配置导致。将 dfs/data 文件夹内容删除，再重新格式化 namenode 即可。
hadoop报错——Exception in thread “main“ ExitCodeException exitCode=1: chmod: 无法访问没有那个文件或目录
最新发布
weixin_63507910的博客
04-15 1494
笔者在新装的Hadoop集群中进行简单的API测试的时候，IDEA出现了一个异常，无法访问文件路径，没有那个文件或目录。在此之前，笔者做HDFS数据导入Hbase的时候，也同样出现了该异常，该异常可以简单的认为权限问题，但是引发该异常的问题却是大不相同的。
Hadoop报错 Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Na
weixin_47810321的博客
04-02 3809
问题描述 在 idea 中运行 MapReduce 项目出现报错 Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat; at org.apache.hadoop.io.nativeio.NativeIO$
markdown语言基本格式
Beneera的博客
10-16 517
Igor学习笔记之基本认识快捷键新概念插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 快捷键 1、命令行窗口调用：CTRL+J 程序窗口调用：CTRL+M 新概念 强调文本 强调...
Hadoop 运行 share/hadoop/mapreduce/hadoop-mapreduce-examples-xxx.jar 报错
热门推荐
Jodness' Blogs
03-16 1万+
今天在运行以下命令 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+' 因为之前我改了主机名为master1 报错 19/03/16 16:12:59 INFO Configuration.deprecation: session.id ...
hadoop调度程序时出现“Error opening job jar”错误
个人技术博客
04-25 4608
hadoop调度程序时出现“Error opening job jar”错误
问题记录：hadoop集群提交job时出现Exception in thread "main" java.io.IOException: Error opening job jar:
学在途中
07-18 4162
在向hadoop集群提交job时提示以下错误： ubuntu@ip-172-31-9-9:~/hadoopfile/feature$ hadoop jar /home/ubuntu/hadoopfile/feature/feature-getpoint7.jar /feature/in feature/out1 Exception in thread "main" java.io.IOExcep
haddoop 0.20.2 java_java.io.IOException: Error opening job jar: hadoop-0.20.2-examples.jar
weixin_42499100的博客
02-23 217
今天在执行hadoop自带例子测试的时候$ bin/hadoop jar hadoop-0.20.1-examples.jar wordcount input outputException in thread "main" java.io.IOException: Error opening job jar: hadoop-0.20.2-examples.jarat org.apache.had...
Hadoop快速入门：单机到分布式部署教程
Hadoop快速入门教程旨在为...本教程详细地介绍了Hadoop快速入门所需的基础环境设置、软件安装、不同模式的操作方法和常见任务的执行。无论是初次接触Hadoop还是希望深入了解其内部运作，这份文档都是一个不错的起点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值