![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop遇到的那些问题
学习Hadoop遇到的一些问题以及解决方案
tone_xu
这个作者很懒,什么都没留下…
展开
-
运行Wordcount时候报错: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
问题描述:找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster原因:yarn-site.xml与mapred-site.xml文件中未配置yarn.spplication.classpath解决方案:1.先在hadoop3.2.2目录下运行hadoop classpath找到内容复制2.在etc/hadoop目录下yarn-site.xml与mapred-site.xml文件中添加以下配置<property> &原创 2021-06-23 15:22:01 · 1369 阅读 · 2 评论 -
hadoop集群关闭时候namenode进程不能正常结束
每次sbin/stop-dfs.sh的时候namenode进程都不会自己结束,困惑!!!原因:未配置hadoop相关进程的pid目录时候,pid都是保存在tmp文件夹中,我在最初曾多次格式化hdfs,导致namenode和DataNode的ID不一致,我选择了重新配置pid文件夹位置,因为tmp文件夹会被定期清理解决方案:hadoop3.2.2文件夹下新建一个pids目录,在etc/hadoop/hadoop-env.sh文件中配置如下部分export HADOOP_SECURE_PID_DIR=/o原创 2021-06-23 15:19:07 · 721 阅读 · 0 评论 -
hadoop启动时报错`hadoop104: Permission denied
遇到问题在启动yarn时候报错hadoop104: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)原因:在配置ssh免密登陆时候没有配置好解决方案:在.ssh隐藏文件中重新执行以下命令ssh-copy-id hadoop102ssh-copy-id hadoop103ssh-copy-id hadoop104注意机器名是你的机器的IP,我是配置过host文件能写hadoop102,103,104,把这处原创 2021-06-23 10:34:17 · 1589 阅读 · 0 评论 -
org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/
Hadoop启动时候报错Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIOPOSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIOPOSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIOPOSIX.st原创 2021-06-15 10:03:17 · 1153 阅读 · 0 评论 -
Hadoop:第一个WordCount程序
第一个WordCount程序1.新建一个空maven工程2.pom.xml中引入以下依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.2.2</version> </dependency>原创 2021-06-05 15:31:30 · 97 阅读 · 0 评论 -
(Hadoop)HADOOP_HOME and hadoop.home.dir are unset.
(Hadoop)HADOOP_HOME and hadoop.home.dir are unset.一:问题的出现问题描述:在Windows上编写第一个WordCount程序运行时出现此错误解决方案:需要在Windows本地搭建Hadoop环境,解决过程如下。二:解决过程1.去hadoop官网下载hadoop,镜像下载链接是https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/也可下载我的使用(3.2.1版本):链接: https:原创 2021-06-05 15:13:27 · 3746 阅读 · 3 评论 -
hadoop报错java.lang.NoSuchMethodError
记录一次hadoop报错:Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.mapreduce.Job.getArchiveSharedCacheUploadPolicies(Lorg/apache/hadoop/conf/Configuration;)Ljava/util/Map; at org.apache.hadoop.mapreduce.v2.util.MRApps.setupDistributed原创 2021-06-19 10:59:59 · 1328 阅读 · 0 评论