- 博客(10)
- 收藏
- 关注
RSS订阅原创 好记性不如烂笔头(1)
1.mysql join/order by/group:Join 的时候最好选择小结果集驱动大结果集Join 语句中的被驱动表的join条件最好加上索引Join buffer 大小的设置Order by 假如是根据有序索引直接获取有序数据 不用进行任何排序操作无索引时候可以将排序字段和定位它所对应的行索引 排序后再去数据库中取需要的那些字段或者是一次性将所有需要的字段先放
2012-01-11 22:08:56
2604
原创 HDFS之NameNode分析
大家都知道HDFS的架构由NameNode,SecondaryNameNode和DataNodes组成，其源码类图如下图所示：正如上图所示，NameNode和DataNode继承了很多的protocol用于彼此间的通信，其实nameNode还实现了RefreshUserMappingsProtocol和RefreshAuthorizationPolicyProtocol两个协议，用于权限控
2012-01-11 21:59:54
5144
转载 Bloom Filter
查询利器-bloom-filter详解布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。本文着重于在实现Bloom Filter的时候会使用到的一些技巧。布隆过滤器的原理不难理解
2012-01-11 11:23:48
2840
转载 转一个常用排序算法的动画效果图
来自：http://yingyingol.iteye.com/blog/13348911 快速排序介绍： 快速排序是由东尼·霍尔所发展的一种排序算法。在平均状况下，排序 n 个项目要Ο(n log n)次比较。在最坏状况下则需要Ο(n2)次比较，但这种状况并不常见。事实上，快速排序通常明显比其他Ο(n log n) 算法更快，因为它的内部循环（inner lo
2012-01-11 10:49:06
17709
5
转载 堆排序及算法分析
写的不错，转过来了http://www.cnblogs.com/zabery/archive/2011/07/26/2117103.html前言记得在学习数据结构的时候一味的想用代码实现算法，重视的是写出来的代码有一个正确的输入，然后有一个正确的输出，那么就很满足了。从网上看了许多的代码，看了之后貌似懂了，自己写完之后也正确了，但是不久之后就忘了，因为大脑在回忆的时候，只依稀记
2012-01-11 10:40:27
3307
原创 Hadoop之TaskTraker分析
TaskTracker的工作职责之前已经和大家提过，主要负责维护，申请和监控Task，通过heartbeat和JobTracker进行通信。 TaskTracker的init过程： 1.读取配置文件，解析参数 2.将TaskTraker上原有的用户local files删除并新建新的dir和file 3. Map tasks = new HashMa
2012-01-10 01:48:10
3900
原创 关于Hadoop的shuffle
我们知道每个reduce task输入的key都是按照key排序的。 但是每个map的输出只是简单的key-value而非key-valuelist，所以洗牌的工作就是将map输出转化为reducer的输入的过程。 在map结束之后shuffle要做的事情： map的输出不是简单的写入本地文件，而是更多的利用内存缓存和预排序工作，以提高效率。io.so
2012-01-09 23:34:53
7631
原创 Hadoop之JobTrack分析
1.client端指定Job的各种参数配置之后调用job.waitForCompletion(true) 方法提交Job给JobTracker，等待Job 完成。 public void submit() throws IOException, InterruptedException, ClassNotFoundException
2012-01-09 15:31:40
6964
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人