- 博客(6)
- 资源 (13)
- 收藏
- 关注
转载 mapreduce与mapreduceV2/yarn
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 Ma
2014-11-14 10:37:01 914
转载 hash取模一致性哈希
取模最简单的hash算法targetServer = serverList[hash(key) % serverList.size]直接用key的hash值(计算key的hash值的方法可以自由选择,比如算法CRC32、MD5,甚至本地hash系统,如java的hashcode)模上server总数来定位目标server。这种算法不仅简单,而且具有不错的随机分布特性。但
2014-11-09 14:30:12 11617
转载 线程安全及性能良好单例
public class Singleton { private static volatile Singleton instance = null; /** * 防止其他人new对象 */ private Singleton(){ System.out.println("init"); }
2014-11-09 14:04:30 690
转载 Spark vs. MapReduce
MapReduce为大数据挖掘提供了有力的支持,但是复杂的挖掘算法往往需要多个MapReduce作业才能完成,多个作业之间存在着冗余的磁盘读写开销和多次资源申请过程,使得基于MapReduce的算法实现存在严重的性能问题。大处理处理后起之秀Spark得益于其在迭代计算和内存计算上的优势,可以自动调度复杂的计算任务,避免中间结果的磁盘读写和资源申请过程,非常适合数据挖掘算法。腾讯TDW Spark平
2014-11-04 18:12:56 9467 1
JAVA SOCKET 在线聊天系统雏形
2011-09-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人