![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式计算
fushengfei
这个作者很懒,什么都没留下…
展开
-
hadoop在windows下的配置与运行(运行环境和开发环境配置)
在Windows下部署hadoop前,都需要安装cygwin软件,那么我们先来看一下,如何安装和配置cygwin 一、cygwin的安装与配置 1、什么是cygwin cygwin是一个在windows平台上运行的unix模拟环境,是cygnus solutions公司开发的自由软件(该公司开发了很多好东西,著名的还有eCos,不过现已被Redhat收购)。它对于学习unix/linux操...2010-08-15 21:39:12 · 200 阅读 · 0 评论 -
hadoop-0.19.0在linux下的集群配置
最近在linux下配置了hadoop,现将配置过程总结如下,欢迎讨论,欢迎交流!一、配置ssh服务 由于MapReduce程序在运行时namenode要和datanode不断地进行通信。所以必须使得namenode能够无密码自动登录到各个datanode上。 1、在namenode上,执行ssh-keygen-t rsa -P '' -f ~/.ssh/id_rsa,直接回车,完成后...原创 2011-01-12 15:34:28 · 72 阅读 · 0 评论 -
浅谈MapReduce编程一
一、MapReduce程序一般通过键值对的形式来处理数据 Map:(K1,V1)----->List(K2,V2) Reduce:(K2,List(V2))------>List(K3,V3) 二、数据流动 1、 输入数据通过split的方式,被分发到各个节点上 2、每个Map任务在一个split上面进行...原创 2010-12-03 12:18:46 · 144 阅读 · 0 评论 -
浅谈MapReduce编程二
五、输入格式InputFormat 1、 实现了InputFormat接口的类负责输入文件的分片方式和读取。 2、常用的InputFormat子类 TextInputFormat :文件的每一行被记录,行的字节偏移量作为key,行的内容作为值 Key:LongWritable,value:Text KeyValueTextInputF...原创 2010-12-03 12:28:00 · 114 阅读 · 0 评论 -
浅谈MapReduce编程三
(3)下面实现一个自己的InputFormat,需要处理的数据为(时间:URL) public class TimeUrlTextInputInputFormat extends FileInputFormat<Text,URLWritable>{ public RecordReader<Text,URLWritable> getRecord...原创 2010-12-03 12:33:43 · 93 阅读 · 0 评论