![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 62
曾燕辉
高级开发、高级软件工程师
展开
-
编译Hdadoop-2.5.0出现的问题解决
本机环境: 发行版本: CentOS release 5.11 (Final)内核版本: 2.6.18-398.el5 #1 SMP Tue Sep 16 20:50:52 EDT 2014 x86_64 x86_64 x86_64 GNU/Linux Hadoop版本: Apache的2.5.0版 需要安装的软件包:* JDK 1.6+* Maven 3.0原创 2016-08-27 23:47:54 · 846 阅读 · 0 评论 -
org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z -> [Help 1]
该问题是windows在给定的路径的访问权限解检查导致的错误,解决办法:修改 org.apache.hadoop.io.nativeio.NativeIO.java,做的修改如下: public static boolean access(String path, AccessRight desiredAccess) throws IOException {原创 2017-06-24 12:13:21 · 1760 阅读 · 0 评论 -
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries 这是widows系统下搭建Hadoop开发环境,进行远程调试才会出现的错误! 解决: 到 https://github.com/zengyh/hadoop-common-2.2.0-b原创 2017-06-24 12:08:59 · 1047 阅读 · 0 评论 -
Server IPC version 9 cannot communicate with client version 4
由于服务器是hadoop-2.5.2 , 而本地eclipse开发环境,项目依赖的是hadoop-client-1.2.1,修改pom.xml将hadoop-client的版本修改成2.5.2 项目demo 见https://github.com/zengyh/HadoopTest.git原创 2017-06-24 12:02:02 · 1639 阅读 · 0 评论 -
Aggregation is not enabled. Try the nodemanager at namenode1:54951 信息提示解决
Yarn有个日志聚集功能,它是在任务完成之后,自动将日志文件上传到文件系统(如HDFS文件系统),通过yarn-site.xml配置 文件开启该功能,默认情况下,该功能是关闭的。所以在没有开启的情况下,通过任务执行历史web ui 查看会报提示信息 “Aggregation is not enabled. Try the nodemanager at namenode1:54951”,如下图原创 2016-08-22 23:43:41 · 2574 阅读 · 2 评论 -
如何手动开启或关闭HDFS的安全模式(safemode)
在hadoop启动namenode的时候,会启动安全模式(safemode),在该模式下,namenode会等待datanode向它发送块报告(block report),只有接收到的datanode上的块数量(datanodes blocks)和实际的数量(total blocks)接近一致, 超过 datanodes blocks / total blocks >= 99.9% 这个阀原创 2016-11-12 23:24:36 · 26366 阅读 · 0 评论 -
Hadoop-2.5.0伪分布式模式部署配置
Hadoop 的运行模式有三种,本地模式、伪分布式模式、完全分布式模式伪分布式模式:是在一台机器上执行Hadoop的MapReduce任务,该模式下hadoop的各种后台程序都是以单独的Java进程运行,互相独立。原创 2016-08-20 23:03:59 · 401 阅读 · 0 评论 -
Hadoop-2.5.0本地模式部署配置
Hadoop 的运行模式有三种,本地模式、伪分布式模式、完全分布式模式本地模式:是在一台机器上运行Hadoop,该模式是hadoop是作为一个Java进程运行,适合用于调试。环境: CentOS release 5.11 (Final) Hadoop-2.5.0 jdk-8u102-linux-i586下面将介绍本地模式的配置使用过程:确认服务器上是否已经安装了ssh、rs原创 2016-08-20 18:23:45 · 404 阅读 · 0 评论 -
基本Hadoop Maven项目的pom.xml配置
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd原创 2017-06-23 11:41:44 · 1844 阅读 · 0 评论