- 博客(13)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 Linux free命令详解
解释一下Linux上free命令的输出。 下面是free的运行结果，一共有4行。为了方便说明，我加上了列号。这样可以把free的输出看成一个二维数组FO(Free Output)。例如：FO[2][1] = 24677460FO[3][2] = 10321516 1 2 3 4
2014-01-26 15:19:38
641
转载 Hadoop Snappy安装终极教程
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://shitouer.cn/2013/01/hadoop-hbase-snappy-setup-final-tutorial/ 因为产品需要，这两天研究了一下Hadoop Snappy。先不说什么各个压缩算法之间的性能对比，单是这个安装过程，就很痛苦。网上有很多博友写H
2014-01-23 10:39:50
3049
4
转载 Hadoop Snappy压缩算法简介
本篇文章做了小部分更改，仅介绍了Snappy，去掉了安装过程，不过不必叹气，更加详细的Hadoop Snappy及HBase Snappy的安装步骤已经另起了一篇文章专门来介绍：Hadoop HBase 配置 安装 Snappy 终极教程 通过这篇文章，相信你一定会几乎毫无困难的成功安装Snappy。Compression就是在用CPU换IO吞吐量/磁盘空间，如果没有什么特殊原因推荐针
2014-01-23 10:38:00
9839
转载 hadoop对于压缩文件的支持及算法优缺点
hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们 将压缩的文件解压，而不用我们去关心。 如果我们压缩的文件有相应压缩格式的扩展名(比如lzo，gz，bzip2等)，hadoop就会根据扩展名去选择解码器解压。压缩格式工具算法文件扩展名多文件可分割性DEFLATE无D
2014-01-23 10:27:01
1264
原创 Spark源码解析——Shuffle
Background在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，自然也实现了shuffle的逻辑，本文就深入研究Spark的shuffle是如何实现的，有什么优缺点，与Hadoop MapR
2014-01-06 23:04:37
2412
1
转载 Spark源码解析——Storage模块
Background前段时间琐事颇多，一直没有时间整理自己的博客，Spark源码分析写到一半也搁置了。之前介绍了deploy和scheduler两大模块，这次介绍Spark中的另一大模块 - storage模块。在写Spark程序的时候我们常常和RDD ( Resilient Distributed Dataset ) 打交道，通过RDD为我们提供的各种transformation和a
2014-01-06 22:42:45
1436
转载 Spark源码分析——deploy模块
Background在前文Spark源码分析之-scheduler模块中提到了Spark在资源管理和调度上采用了HadoopYARN的方式：外层的资源管理器和应用内的任务调度器；并且分析了Spark应用内的任务调度模块。本文就Spark的外层资源管理器-deploy模块进行分析，探究Spark是如何协调应用之间的资源调度和管理的。Spark最初是交由Mesos进行资源管理，为了使得
2014-01-06 21:25:43
1366
转载 Spark源码解析——Scheduler模块
BackgroundSpark在资源管理和调度方式上采用了类似于Hadoop YARN的方式，最上层是资源调度器，它负责分配资源和调度注册到Spark中的所有应用，Spark选用Mesos或是YARN等作为其资源调度框架。在每一个应用内部，Spark又实现了任务调度器，负责任务的调度和协调，类似于MapReduce。本质上，外层的资源调度和内层的任务调度相互独立，各司其职。本文对于Spar
2014-01-06 16:50:30
1230
转载 Hadoop中Speculative Task调度策略
1. 背景Speculative Task，又叫推测式任务，是指在分布式集群环境下，因为程序bug，负载不均衡或者资源分布不均，造成同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task（比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕），则这些task拖慢了作业的整体执行进度，为了避免这种情况发生，Hadoop会为该task启动spec
2014-01-05 18:46:30
907
转载 MapReduce 中的两表 join 几种方案简介
1. 概述在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同输入数据集的优化方法。2. 常见的join方法介绍假设要进行join的数据分别来自File
2014-01-05 16:53:04
897
转载 Scala中Case的使用
51CTO编辑推荐：Scala编程语言专题Scala支持case类的概念。case类也是正规的类，暴露其构造器参数，并通过模式匹配提供递归解构机制。 以下是由抽象超类Term和三个具体case类Var，Fun，和App组成的类层次的例子。abstract class Term case class Var(name: String) extends Term case class Fu
2014-01-05 16:36:30
7291
转载 volatile关键字的作用详解
C 语言中volatile的作用:http://blog.csdn.net/tigerjibo/article/details/7427366 下面是内容:一.前言1.编译器优化介绍：由于内存访问速度远不及CPU处理速度，为提高机器整体性能，在硬件上引入硬件高速缓存Cache，加速对内存的访问。另外在现代CPU中指令的执行并不一定严格按照顺序执行，没有相关性的指令可以乱序执行，以充
2014-01-05 14:52:57
1245
转载 scala的trait是如何实现的？
trait TestTrait1 { def foo1() = {println ("foo1")}; } 上次讲scala基础的时候提到过特质(trait)，这是一个胖接口，可以实现类似多继承的东西。但一直很好奇这是怎么编译成class并让jvm顺利执行。 经过网上提问无果后，只能自己找答案了。 首先发现trait编译后是两个clas
2014-01-05 13:30:32
912
wingide4.1及破解文件
2013-06-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人