Hadoop
happylife1527
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记
作者: wayne1017 一、简要介绍这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的,同时又参考了网上的很多文章,对学习Hadoop中遇到的问题进行了归纳总结。 言归正传,先说一下Hadoop的来龙转载 2012-10-11 22:10:34 · 326 阅读 · 0 评论 -
HDFS读写过程解析
http://www.cnblogs.com/forfuture1978/archive/2010/11/10/1874222.html一、文件的打开1.1、客户端HDFS打开一个文件,需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize),其实现为:public FSDataInputStream转载 2012-10-11 22:06:00 · 316 阅读 · 0 评论 -
Map-Reduce入门
http://www.cnblogs.com/forfuture1978/archive/2010/11/14/1877086.html1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录 每一行字符从0开始计数,第15个到第18个字符为年 第25个到第29个字符为温度,其中第25位是符号+/-00转载 2012-10-11 18:33:51 · 368 阅读 · 0 评论 -
HDFS简介
一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。1.2、元数据节点(Namenode)和数据节转载 2012-10-11 18:31:57 · 373 阅读 · 0 评论 -
Windows 下配置 Eclipse 连接 Hadoop 开发环境
学习本篇之前,首先需要搭建Hadoop集群环境,具体请参见:Hadoop 三台主机 集群搭建 详解在上一篇Hadoop 三台主机 集群搭建 详解,已经搭建起Hadoop集群,但是要开发调试MapReduce程序,还是在Windows下比较方便和舒服。成功配置这个环境,花费了我好几个晚上,先记录如下,方便后来学习的人:环境及配置:Eclipse选择非常重要,至少我是在这花费了很多时间转载 2012-10-11 22:11:40 · 487 阅读 · 0 评论 -
VMware Redhat网络配置
Windows配置首先,要配置VMware在windows中的相关配置:1. 进入网络和共享中心(win7系统为例),配置VMWare Network Adapter VMnet8,如图所示:2. 修改其属性,如图:当然,这一步也可以再VMware的Edit->Virtual Network Editor中来修改,如图:完成以上设置以后,就要进入Redhat进行Re转载 2012-10-11 22:12:03 · 425 阅读 · 0 评论 -
Hadoop的运行痕迹
Hadoop 学习总结之一:HDFS简介Hadoop学习总结之二:HDFS读写过程解析Hadoop学习总结之三:Map-Reduce入门Hadoop学习总结之四:Map-Reduce的过程解析 在使用hadoop的时候,可能遇到各种各样的问题,然而由于hadoop的运行机制比较复杂,因而出现了问题的时候比较难于发现问题。本文欲通过某种方式跟踪Hadoop的运行痕迹,方转载 2012-10-11 22:09:10 · 550 阅读 · 0 评论 -
MapReduce源码分析总结
转者注:本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce的,然而查找资料的时候,发现了这篇文章,并且发现caibinbupt已经对Hadoop的源代码已经进行了详细的分析,推荐大家阅读。转自http://blog.csdn.net/HEYUTAO007/archive/2010/07/10/5725379.aspx参考:1 caibinbupt的源代码分析htt转载 2012-10-11 22:08:42 · 382 阅读 · 0 评论 -
Map-Reduce的过程解析
一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的:public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc = ne转载 2012-10-11 22:08:01 · 346 阅读 · 0 评论 -
Hadoop 三台主机 集群搭建 详解
部署环境:OS:Redhat 5.5 EnterpriseJDK:jdk1.6.0_32Hadoop:Hadoop-0.20.2VMWare:7.0节点安排及网络拓扑:节点类型 节点IP 节点hostnamemaster节点 192.168.40.5 masterslave节点 192.168.40.5 master(此时,转载 2012-10-11 22:11:17 · 565 阅读 · 0 评论