![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
过河竹
学习和研究云计算,SOA,WebServices方向,对大数据技术感兴趣。
展开
-
eclipse hadoop开发环境配置
win7下安装hadoop完成后,接下来就是eclipse hadoop开发环境配置了。具体的操作如下: 一、在eclipse下安装开发hadoop程序的插件 安装这个插件很简单,haoop-0.20.2自带一个eclipse的插件,在hadoop目录下的 contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar,把这个文件copy到e转载 2013-12-21 17:10:43 · 602 阅读 · 0 评论 -
Windows下安装Hadoop
台式机i5-2400 3.1G,2G内存,操作系统Win7,JDK1.6.31。 1.下载Cygwin,运行Setup.exe,记得安装Sed、Openssh、Openssl,安装目录为d:\cygwin。 2.安装JDK,设置Windows环境变量,添加JAVA_HOME,值为java安装目录,添加CLASSPATH,值为. [plain] view plaincopy转载 2013-12-21 17:14:51 · 1556 阅读 · 0 评论 -
WINDOWS 下安装HADOOP(2)
资料准备: 最新稳定的hadoop 包(gz 压缩格式), cygwin. 首先按照cygwin ,很简单一直下一步就好。 Net Category下的:openssh,openssl BaseCategory下的:sed (若需要Eclipse,必须sed) Devel Category下的:subversion(建议安装)。转载 2013-12-21 17:20:44 · 1158 阅读 · 0 评论 -
解析Hadoop分布式文件系统HDFS
一、前提和设计目标 1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核心架构目标。 2、跑在HDFS上的应用与一般的应用不同,它们主要是以流式读为主,做批量处理;比之关注数据访问的低延迟问题,更关键的在于数据访问的高吞吐量。 3、HDFS以支持转载 2013-12-22 20:40:25 · 796 阅读 · 0 评论 -
Hadoop版本选择探讨
原文地址:http://dongxicheng.org/mapreduce-nextgen/how-to-select-hadoop-versions/ http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-terms-explained/ 由于Hadoop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼。本文总转载 2013-12-21 17:52:46 · 7336 阅读 · 0 评论