- 博客(8)
- 资源 (4)
- 收藏
- 关注
转载 Java线程池管理及分布式Hadoop调度框架搭建
订阅云计算RSSCSDN首页> 云计算 Java线程池管理及分布式Hadoop调度框架搭建 来源个人博客| 2 条评论| 作者Lanceyan摘要:多线程一直不是件容易的事情,然而开发过程却又经常碰到,有时甚至还会被作为考校程序员实力的一个指标。这样一来,多线程已然成为一道必须迈过的砍!【编者按】多线程是程序员面试时常常会面对的问题,对多线程
2014-04-16 22:38:45 970
转载 Hadoop示例程序WordCount详解及实例 .
1.图解MapReduce 2.简历过程:Input:Hello World Bye WorldHello Hadoop Bye HadoopBye Hadoop Hello HadoopMap:Sort:Combine
2014-04-16 22:33:10 1260
转载 Hadoop中Writable和WritableComparable区别
Hadoop的key和value的传递序列化需要涉及两个重要的接口Writable和WritableComparable1> Writable:Java代码 void write(DataOutput out) throws IOException; void readFields(DataInput in) throws IOException;
2014-04-16 22:10:55 6069 1
转载 Hadoop WritableComparable接口
WritableComparable接口Writable接口大家可能都知道,它是一个实现了序列化协议的序列化对象。在Hadoop中定义一个结构化对象都要实现Writable接口,使得该结构化对象可以序列化为字节流,字节流也可以反序列化为结构化对象。那WritableComparable接口是可序列化并且可比较的接口。MapReduce中所有的key值类型都必须实现这个接口,既然是可序列化的那就
2014-04-16 22:09:09 945
转载 Hadoop学习笔记(5) MapReduce工作机制
Hadoop学习笔记(5) MapReduce工作机制知识点小结:shuffle影响性能的因素1 Map –>buffer –> partition, sort, spill to disk (输出缓冲区,溢出写磁盘比例,运行combiner最小溢出写文件数3, task tracker工作线程数)2 Reduce copy (5 threads) –> memory (b
2014-04-10 18:22:47 2021
转载 Hadoop学习笔记(5)———Mapreduce工作原理
Hadoop学习笔记(5)————Mapreduce工作原理 一个MapReduce作业在hadoop上运行的整个过程可以分为4个实体:(1)、客户端,提交MapReduce作业;在客户端上使用runJob()方法来新建JobClient实例和调用它的submitJob()方法。提交作业后,runJob将每秒轮询作业的进度,如果发现与上一个记录不同,便把报告显示到控制台。作业完成后,如
2014-04-10 18:21:10 2503
转载 MapReduce工作原理图文详解
MapReduce工作原理图文详解前言: 前段时间我们云计算团队一起学习了hadoop相关的知识,大家都积极地做了、学了很多东西,收获颇丰。可是开学后,大家都忙各自的事情,云计算方面的动静都不太大。呵呵~不过最近在胡老大的号召下,我们云计算团队重振旗鼓了,希望大伙仍高举“云在手,跟我走”的口号战斗下去。这篇博文就算是我们团队“重启云计算”的见证吧,也希望有更多优秀的文章出炉。汤
2014-04-10 18:17:04 1113
转载 Hadoop API 使用介绍
Hadoop API 使用介绍Hadoop API被分成(divide into)如下几种主要的包(package)org.apache.hadoop.conf 定义了系统参数的配置文件处理API。org.apache.hadoop.fs 定义了抽象的文件系统API。org.apache.hadoop.dfs Hadoop分布式文件系统(H
2014-04-10 16:51:34 7007
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人