- 博客(8)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 Java线程池管理及分布式Hadoop调度框架搭建
订阅云计算RSSCSDN首页> 云计算 Java线程池管理及分布式Hadoop调度框架搭建 来源个人博客| 2 条评论| 作者Lanceyan摘要：多线程一直不是件容易的事情，然而开发过程却又经常碰到，有时甚至还会被作为考校程序员实力的一个指标。这样一来，多线程已然成为一道必须迈过的砍！【编者按】多线程是程序员面试时常常会面对的问题，对多线程
2014-04-16 22:38:45
970
转载 Hadoop示例程序WordCount详解及实例 .
1.图解MapReduce 2.简历过程：Input:Hello World Bye WorldHello Hadoop Bye HadoopBye Hadoop Hello HadoopMap:Sort:Combine
2014-04-16 22:33:10
1260
转载 Hadoop中Writable和WritableComparable区别
Hadoop的key和value的传递序列化需要涉及两个重要的接口Writable和WritableComparable1> Writable：Java代码 void write(DataOutput out) throws IOException; void readFields(DataInput in) throws IOException;
2014-04-16 22:10:55
6069
1
转载 Hadoop WritableComparable接口
WritableComparable接口Writable接口大家可能都知道，它是一个实现了序列化协议的序列化对象。在Hadoop中定义一个结构化对象都要实现Writable接口，使得该结构化对象可以序列化为字节流，字节流也可以反序列化为结构化对象。那WritableComparable接口是可序列化并且可比较的接口。MapReduce中所有的key值类型都必须实现这个接口，既然是可序列化的那就
2014-04-16 22:09:09
945
转载 Hadoop学习笔记(5) MapReduce工作机制
Hadoop学习笔记(5) MapReduce工作机制知识点小结：shuffle影响性能的因素1 Map –>buffer –> partition, sort, spill to disk (输出缓冲区，溢出写磁盘比例，运行combiner最小溢出写文件数3, task tracker工作线程数)2 Reduce copy (5 threads) –> memory (b
2014-04-10 18:22:47
2021
转载 Hadoop学习笔记（5）———Mapreduce工作原理
Hadoop学习笔记（5）————Mapreduce工作原理 一个MapReduce作业在hadoop上运行的整个过程可以分为4个实体：（1）、客户端，提交MapReduce作业；在客户端上使用runJob()方法来新建JobClient实例和调用它的submitJob()方法。提交作业后，runJob将每秒轮询作业的进度，如果发现与上一个记录不同，便把报告显示到控制台。作业完成后，如
2014-04-10 18:21:10
2503
转载 MapReduce工作原理图文详解
MapReduce工作原理图文详解前言： 前段时间我们云计算团队一起学习了hadoop相关的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。呵呵~不过最近在胡老大的号召下，我们云计算团队重振旗鼓了，希望大伙仍高举“云在手，跟我走”的口号战斗下去。这篇博文就算是我们团队“重启云计算”的见证吧，也希望有更多优秀的文章出炉。汤
2014-04-10 18:17:04
1113
转载 Hadoop API 使用介绍
Hadoop API 使用介绍Hadoop API被分成（divide into）如下几种主要的包（package）org.apache.hadoop.conf 定义了系统参数的配置文件处理API。org.apache.hadoop.fs 定义了抽象的文件系统API。org.apache.hadoop.dfs Hadoop分布式文件系统（H
2014-04-10 16:51:34
7007
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人