
hadoop
文章平均质量分 68
shan9liang
悟空
展开
-
eclipse连接远程hadoop集群开发时权限不足问题解决方案
eclipse连接远程hadoop集群开发时报错Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=d, access=WRITE, inode="data":zxg:supergroup:rwxr-xr-x at org.原创 2013-08-03 19:36:10 · 5699 阅读 · 12 评论 -
hadoop-1.2.0集群安装与配置
一、概述前些日子开始着手高校云平台的搭建,其中涉及很重要的一部分是hadoop集群测试环境的安装与配置,大概用了两天的时间,终于搞定了基本轮廓,把我的经验分享给大家。二、硬件环境1、windows 7 旗舰版 64位2、VMware Workstation ACE 版 6.0.23、Redhat Linux 54、Hadoop-1.2.0原创 2013-08-08 21:00:08 · 5260 阅读 · 10 评论 -
Apache Hadoop 2.0.5-alpha 相对前版本的改进
Apache Hadoop 2.0.5-alpha 相比以前发布的稳定版本有了显著的改进。下面是一个简短的概述,包含分布式文件系统(Hadoop Distributed File System)和MapReduce方面的改进。 HDFS 联合 为了横向地测量命名服务的,federation采用多重独立的命名节点/命名空间 这些命名节点是翻译 2013-08-23 08:24:20 · 2332 阅读 · 13 评论 -
windows 7 with eclipse 下hadoop应用开发环境搭建
一、概述最近开始着手高校云平台的搭建,前些天做了hadoop集群测试环境的安装与配置的经验分享,这篇文章主要介绍win7 64位下 eclipse4.2 连接远程Redhat Linux 5下hadoop-1.2.0集群开发环境搭建二、环境1、window 7 64位2、eclipse 4.23、Redhat Linux 54、hadoop-1.2.0三原创 2013-08-14 20:11:55 · 13053 阅读 · 15 评论 -
eclipse连接远程hadoop集群开发时0700问题解决方案
eclipse连接远程hadoop集群开发时报错错误信息:Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\ysc-2036315919\.staging to 0700解决方案(经原创 2013-08-03 19:35:10 · 3854 阅读 · 14 评论 -
Hadoop总结(1)-体系
hadoop是一个开源分布式计算平台,以hadoop分布式文件系统HDFS和大规模数据分布式编程模型MapReduce为核心。它为用户提供了底部细节透明的分布式基础架构。HDFS的高容错性,高伸缩性等特点允许用户将hadoop部署在低廉的硬件上,形成分布式系统;而MapReduce分布式编程模型允许用户在不了解系统底层细节的情况下开发并行应用程序。再者,配合其他项目(如下图)的使用,使原创 2013-09-19 15:54:04 · 2159 阅读 · 11 评论