2014年05月_爱篮球的IT小青年

09月 05月 04月 03月 02月

转载 C++中const、volatile、mutable的用法

const、volatile、mutable的用法 const修饰普通变量和指针 const修饰变量，一般有两种写法： const TYPE value; TYPE const value; 这两种写法在本质上是一样的。它的含义是：const修饰的类型为TYPE的变量value是不可变的。对于一个非指针的类型TYPE，无论怎么写，都是一个含义，即value值不可变。例如： const

2014-05-06 20:11:19 600

转载 java内部类总结

内部类本文主要参照网上的一些相关文章、以及thinking in java 第三版，对java里面的内部类进行了一个较为详细的总结内部类是指在一个外部类的内部再定义一个类。内部类作为外部类的一个成员，并且依附于外部类而存在的。内部类可为静态，可用protected和private修饰（而外部类只能使用public和缺省的包访问权限）。内部类主要有以下几类：成员内部类、局

2014-05-06 20:04:44 583

转载 Hadoop实战-中高级部分之 Hadoop MapReduce高级编程

Hadoop实战-中高级部分之 Hadoop MapReduce高级编程 Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop IO Hadoop MapReduce工作原理 Hadoop 管理 Hadoop 集群安装 H

2014-05-06 19:33:01 1984 1

转载使用hadoop进行大规模数据的全局排序

1. Hellow hadoop~~! Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。谁叫had

2014-05-06 15:06:09 611

转载 MapReduce的二次排序 SecondarySort

关于二次排序主要涉及到这么几个东西：在0.20.0 以前使用的是 setPartitionerClass setOutputkeyComparatorClass setOutputValueGroupingComparator 在0.20.0以后使用是 job.setPartitionerClass(Partitioner p); job.se

2014-05-06 14:39:32 804

转载 Hadoop中两表JOIN的处理方法

Dong的这篇博客我觉得把原理写的很详细，同时介绍了一些优化办法，利用二次排序或者布隆过滤器，但在之前实践中我并没有在join中用二者来优化，因为我不是作join优化的，而是做单纯的倾斜处理，做join优化或者查询优化时，上述二者是最基本的优化办法了。 1. 概述在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见

2014-05-06 14:32:36 691