Hadoop学习问题总结
Hadoop学习问题总结
愿你被这个世界温暖相待
这个作者很懒,什么都没留下…
展开
-
Hadoop学习问题10:MapReduce程序报错java.lang.NullPointerException
问题描述在运行MapReduce程序中把报错如下:java.lang.Exception: java.lang.NullPointerException at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:492) at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:559)Caused by: java.la原创 2022-01-02 20:22:34 · 2704 阅读 · 0 评论 -
Hadoop学习问题9:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
问题描述hadoop出现错误:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z原因分析注册程序查找出错问题解决将hadoop安装目录下的bin目录下的hadoop.dll复制一份到:C:\Windows\System32下,并重启客户端(例如IDEA)类似问题可能出现在winutils.exe程序上,可以将winutils.exe一并复制到C:\Windows\System32下。如果安装原创 2021-12-18 16:09:10 · 820 阅读 · 0 评论 -
Hadoop学习问题8:Java通过Trash对象不能删除文件到回收站
问题描述Java通过Trash对象不能删除文件到回收站,运行没有出错,但是删除不成功原因分析uri = URI.create("hdfs://192.168.153.131:8020");conf = new Configuration();user = "cxj";fs = FileSystem.get(uri, conf, user);Trash ts = new Trash(fs, conf);ts.moveToTrash(new Path("/a.txt"));经过测试,在Sh原创 2021-12-10 22:20:26 · 976 阅读 · 0 评论 -
Hadoop学习问题7:VIRTUAL memory limit
问题描述container[pid=2711,containerID=container_1595061096107_0001_01_00o02] is running 32302848B beyond the 'VIRTUAL’ memory limit. Current usage: 167.8 MB of 1 GB physical memory used; 2.4GB of 2.1GB Killing Container原因分析作业运行超出虚拟内存的限制,不能提供足够的资源问题解决在yar原创 2021-12-10 15:47:05 · 687 阅读 · 0 评论 -
Hadoop学习问题6:Did not find winutils.exe
问题描述IDEA执行HDFS的时候出现以下错误21/12/06 22:38:58 WARN Shell: Did not find winutils.exe: {}java.io.FileNotFoundException: Could not locate Hadoop executable: D:\main\hadoop-3.1.3\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblemsat org.apache.原创 2021-12-06 14:10:24 · 6782 阅读 · 0 评论 -
Hadoop学习问题5:Maven配置日志报警告问题
问题描述配置好了log4j2.xml文件后。运行测试程序出现log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#no原创 2021-12-06 13:11:28 · 571 阅读 · 0 评论 -
Hadoop学习问题4:Windows10配置hadoop后使用hadoop命令失败问题
问题描述Windows 10配置好hadoop环境变量后,使用hadoop命令报错如下:Error: JAVA_HOME is incorrectly set.问题分析hadoop依赖Java,通过提示可以推出是hadoop-env.cmd下关于JAVA_HOME参数出现问题,导致找不到Java的路径解决在hadoop-env.cmd找到JAVA_HOME字段原先失败的是我Java默认安装在Program File下,默认配置使用了我的JAVA_HOME环境变量,也就是这个默认安装的路径原创 2021-12-05 22:02:13 · 2797 阅读 · 1 评论 -
Hadoop学习问题3:HDFS的Web端管理操作失败问题
问题描述HDFS通过Web端进行管理操作的时候出现Permission denied: user=dr.who, access=WRITE, inode="/":cxj:supergroup:drwxr-xr-x原因分析在HDFS的Web管理页面中进行操作的时候,使用的是dr.who用户,但是文件实际所有者以及管理的组是cxj:supergroup,所有出现操作权限不足的情况解决方法一:http静态访问用户如果经常是某一个用户进行操作,那么可以将默认的dr.who该为该用户就可以了。在co原创 2021-12-05 21:05:07 · 839 阅读 · 0 评论 -
Hadoop学习问题2:namenode重复格式化出现datanode启动失败问题
问题描述hdfs格式化命令第一次启动的时候进行格式化即可,后续如果重复格式化会出现datanode启动失败的问题原因分析在hadfs-site.xml配置中指定了hdfs运行时产生的存储目录 <property> <name>hadoop.data.dir</name> <value>/opt/module/hadoop-3.1.3/data<value> </property>对于配置了namenod原创 2021-12-04 14:15:48 · 1065 阅读 · 0 评论 -
Hadoop学习问题1:Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
问题描述:测试yarn的时候,启动wordcount测试用例失败,出现以下提示Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMasterPlease check whether your etc/hadoop/mapred-site.xml contains the below configuration:<property> <name>yarn.app原创 2021-12-03 22:28:59 · 903 阅读 · 2 评论