xiaolang85的专栏

布隆过滤器［1］（Bloom Filter）是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率（假正例False positives，即Bloom Filter报告某一元素存在于某集合中，但是实际上

概率论只不过是把常识用数学公式表达了出来。——拉普拉斯记得读本科的时候，最喜欢到城里的计算机书店里面去闲逛，一逛就是好几个小时；有一次，在书店看到一本书，名叫贝叶斯方法。当时数学系的课程还没有学到概率统计。我心想，一个方法能够专门写出一本书来，肯定很牛逼。后来，我发现当初的那个朴素归纳推理成立了——这果然是个牛逼的方法。——题记目录0. 前言 1. 历史     1.1

在工作学习中，我往往感叹数学奇迹般的解决一些貌似不可能完成的任务，并且十分希望将这种喜悦分享给大家，就好比说：“老婆，出来看上帝”…… 随着信息爆炸时代的来临，互联网上充斥着着大量的近重复信息，有效地识别它们是一个很有意义的课题。例如，对于搜索引擎的爬虫系统来说，收录重复的网页是毫无意义的，只会造成存储和计算资源的浪费；同时，展示重复的信息对于用户来说也并不是最好的体验。造成网页近重复的可

http://fengchangjian.com/?p=1330快排最核心的思想就是划分，确定一个枢轴元素(pivot)，每一趟划分的目的就是把待排序列分为两部分，前一部分比枢轴小(序列A)，后一部分比枢轴大(序列B)。经过一趟划分之后序列变为：{A} pivot {B}。以下是具体步骤：1、确定每一次划分的枢轴元素为当前待排序列的头节点。2、设置Slow和Fast两个游标，Slow指

原文：http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html0、写在前面的话      我个人一直很喜欢算法一类的东西，在我看来算法是人类智慧的精华，其中蕴含着无与伦比的美感。而每次将学过的算法应用到实际中，并解决了实际问题后，那种快感更是我在其它地方体会不到的。 

位运算目录(?)[+]一提起位运算，人们往往想到它的高效性，无论是嵌入式编程还是优化系统的核心代码，适当的运用位运算总是一种迷人的手段，或者当您求职的时候，在代码中写入适当的位运算也会让您的程序增加一丝亮点，最初当我读《编程之美》求“1的数目”时，我才开始觉得位运算是如此之美，后来读到 《Hacker's Delight》，感慨到Henry S.Warren把位运算运用的如此神

Title:       位操作基础篇之位操作全面总结Author:     MoreWindowsE-mail:      morewindows@126.comKeyWord:   C/C++ 位操作 位操作技巧 判断奇偶 交换两数 变换符号 求绝对值 位操作压缩空间 筛素数 位操作趣味应用 位操作笔试面试位操作篇共分为基础篇和提高篇，基础篇主要对位操作进行全面总结，帮助大家梳

系列文章地址：http://blog.csdn.net/MoreWindows/article/category/859207首先来看题目要求：在一个数组中除两个数字只出现1次外，其它数字都出现了2次， 要求尽快找出这两个数字。    考虑下这个题目的简化版——数组中除一个数字只出现1次外，其它数字都成对出现，要求尽快找出这个数字。这个题目在之前的《位操作基础篇之位操作全面总结》中的“

[非基于比较的排序]在计算机科学中，排序是一门基础的算法技术，许多算法都要以此作为基础，不同的排序算法有着不同的时间开销和空间开销。排序算法有非常多种，如我们最常用的快速排序和堆排序等算法，这些算法需要对序列中的数据进行比较，因为被称为基于比较的排序。基于比较的排序算法是不能突破O(NlogN)的。简单证明如下：N个数有N!个可能的排列情况，也就是说基于比较的排序算法的判定树有N!个叶

买点芒果去假设有一天你准备去买点芒果。有个小贩摆放了一车。你可以一个一个挑，然后小贩根据你挑的芒果的斤两来算钱（在印度的典型情况）。显然，你想挑最甜最熟的芒果对吧（因为小贩是按芒果的重量来算钱，而不是按芒果的品质来算钱的）。可是你准备怎么挑呢？你记得奶奶和你说过， 嫩黄的芒果比暗黄的甜。 所以你有了一个简单的判断标准：只挑嫩黄的芒果。你检查各个芒果的颜色， 挑了些嫩黄的，买单，走人，爽不？

举例来说，有一个字符串"BBC ABCDAB ABCDABCDABDE"，我想知道，里面是否包含另一个字符串"ABCDABD"？许多算法可以完成这个任务，Knuth-Morris-Pratt算法（简称KMP）是最常用的之一。它以三个发明者命名，起头的那个K就是著名科学家Donald Knuth。这种算法不太容易理解，网上有很多解释，但读起来都很费劲。直到读到Jake Boxer

美国数学家赫夫曼（David Huffman）1952年发明了一种压缩编码方法，并得到广泛应用。为了纪念他的成就，人们把他在编码中用到的特殊的二叉树叫做赫夫曼树，他的编码方法叫做赫夫曼编码。下面一段程序用来给学生考试成绩划分等级：if (a 60) b = "不及格";else if (a 70) b = "及格";else if (a 80) b = "中等";

作者：July、wuliming、pkuoliver　　说明：本文分为三部分内容， 第一部分为一道百度面试题Top K算法的详解；第二部分为关于Hash表算法的详细阐述；第三部分为打造一个最快的Hash表算法。　　第一部分：Top K 算法详解　　问题描述（百度面试题）：　　搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255

看见了海量数据去重，找到停留时间最长的IP等问题，有博友提到了Bloom Filter，我就查了查，不过首先想到的是大叔，下面就先看看大叔的风采。             一、布隆过滤器概念引入      （Bloom Filter）是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个

声明：本文写作皆因个人兴趣，仅供学习目的，限于本人水平有限，不当之处请指正，欢迎讨论。 欢迎转载，转载请注明出处 。 本文地址： http://www.imsiren.com/archives/988 离线数据处理与实时数据处理有很大的不同，其中一个例子就是去重。在聚数据中，访问UV和购买UV都需要实时的去重。离线处理的时候，我们可以通过count(groupby)或者count(

高快省的排序算法有没有既不浪费空间又可以快一点的排序算法呢？那就是“快速排序”啦！光听这个名字是不是就觉得很高端呢。假设我们现在对“6  1  2 7  9  3  4  5 10  8”这个10个数进行排序。首先在这个序列中随便找一个数作为基准数（不要被这个名词吓到了，就是一个用来参照的数，待会你就知道它用来做啥的了）。为了方便，就让第一个数6作为基准数吧。接下来，需要将这个序列

转载请说明出处：http://blog.csdn.net/cywosp/article/details/23397179    一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正

缓存技术是一个老生常谈的问题，但是它也是解决性能问题的利器，一把瑞士军刀；而且在各种面试过程中或多或少会被问及一些缓存相关的问题，如缓存算法、热点数据与更新缓存、更新缓存与原子性、缓存崩溃与快速恢复等各种与缓存相关的问题。而这些问题中有些问题又是与场景相关，因此如何合理应用缓存来解决问题也是一个选择题。本文所有内容是跟读服务缓存相关，不会涉及写服务数据的缓存。本文也不考虑内容型应用前置的CDN架构

缓存技术是一个老生常谈的问题，但是它也是解决性能问题的利器，一把瑞士军刀；而且在各种面试过程中或多或少会被问及一些缓存相关的问题，如缓存算法、热点数据与更新缓存、更新缓存与原子性、缓存崩溃与快速恢复等各种与缓存相关的问题。而这些问题中有些问题又是与场景相关，因此如何合理应用缓存来解决问题也是一个选择题。本文所有内容是跟读服务缓存相关，不会涉及写服务数据的缓存。本文也不考虑内容型应用前置的CDN架构

1. LRU1.1. 原理LRU（Least recently used，最近最少使用）算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。1.2. 实现最常见的实现是使用一个链表保存缓存数据，详细算法实现如下：1. 新数据插入到链表头部；2. 每当缓存命中（即缓存数据被访问），则将数据移到

作者：July、weedge、Frankie。编程艺术室出品。说明：本文从B树开始谈起，然后论述B+树、B*树，最后谈到R 树。其中B树、B+树及B*树部分由weedge完成，R 树部分由Frankie完成，全文最终由July统稿修订完成。出处：http://blog.csdn.net/v_JULY_v 。 第一节、B树、B+树、B*树1.前言：动态查找树主要有：二叉查找树

归并排序是建立在归并操作上的一种有效的排序算法。该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。首先考虑下如何将将二个有序数列合并。这个非常简单，只要从比较二个数列的第一个数，谁小就先取谁，取了后就在对应数列中删除这个数。然后再进行比较，如果有数列为空，那直接将另一个数列的数据依次取出即可。[cpp] view plaincopy//

mapreduce分布式计算facebook框架产品搜索引擎目录(?)[+]    （注：本文只是简简单单的截几幅图而已，要想更深入的学习和了解hadoop框架和mapreduce模式，或者对淘宝的数据魔方感兴趣的话，尽可参考此文：从Hadhoop框架与MapReduce模式中谈海量数据处理。）    最近对海量数据处理发生了不小的兴趣，

数据结构是对在计算机内存中（有时在磁盘中）的数据的一种安排。数据结构包括数组、链表、栈、二叉树、哈希表等等。算法对这些结构中的数据进行各种处理。例如，查找一条特殊的数据项或对数据进行排序。掌握这些知识以后可以解决哪些问题呢？现实世界数据存储程序员的工具建模数据结构的特性：数组：优点是插入快，如果知道下标，可以非常快地存取。缺点是查找慢，删除慢，大小固定。有序数组：优点是

Java排序算法（五）：快速排序快速排序是一个速度非常快的交换排序算法，它的基本思路很简单，从待排的数据序列中任取一个数据（如第一个数据）作为分界值，所有比它小的数据元素放到左边，所有比它大的数据元素放到它的右边。经过这样一趟下来，该序列形成左右两个子序列，左边序列中的数据元素的值都比分界值小，右边序列中数据元素的值都比分界值大。接下来对左右两个子序列进行递归排序，对两个子序列重新选择中心

冒泡排序是计算机的一种排序方法，它的时间复杂度为O（n^2），虽然不及堆排序、快速排序的O（nlogn，底数为2），但是有两个优点：1.“编程复杂度”很低，很容易写出代码；2.具有稳定性，这里的稳定性是指原序列中相同元素的相对顺序仍然保持到排序后的序列，而堆排序、快速排序均不具有稳定性。不过，一路、二路归并排序、不平衡二叉树排序的速度均比冒泡排序快，且具有稳定性，但速度不及

Java排序算法（三）：堆排序堆积排序(Heapsort)是指利用堆积树（堆）这种资料结构所设计的一种排序算法，可以利用数组的特点快速定位指定索引的元素。堆排序是不稳定的排序方法，辅助空间为O(1)， 最坏时间复杂度为O(nlog2n) ，堆排序的堆序的平均性能较接近于最坏性能。 堆排序利用了大根堆(或小根堆)堆顶记录的关键字最大(或最小)这一特征，使得在当前无序区中选取最大(或最

直接选择排序的基本操作就是每一趟从待排序的数据元素中选出最小（或最大）的一个元素，顺序放在已排好序的数列的最后，直到全部待排序的数据元素排完，它需要经过n-1趟比较。算法不稳定，O(1)的额外的空间，比较的时间复杂度为O(n^2)，交换的时间复杂度为O(n)，并不是自适应的。在大多数情况下都不推荐使用。只有在希望减少交换次数的情况下可以用。基本思想n个记录的文件的直接选择排序可经过

Java排序算法（一）：概述排序是程序开发中一种非常常见的操作，对一组任意的数据元素（或记录）经过排序操作后，就可以把他们变成一组按关键字排序的有序队列。对一个排序算法来说，一般从下面3个方面来衡量算法的优劣：时间复杂度：它主要是分析关键字的比较次数和记录的移动次数。空间复杂度：分析排序算法中需要多少辅助内存。稳定性：若两个记录A和B的关键字值相等，但是排序后A,B的先后次序保

今天来了解一下堆排序的问题，“堆”是个很有趣的结构。通常“堆”是通过数组来实现的，这样可以利用数组的特点快速定位指定索引的元素。而对“堆”的操作中定位某个元素简直就是家常便饭。为什么这么说呢，我们来看看“堆”的定义： 在起始索引为 0 的“堆”中： 1) 堆的根节点将存放在位置 0 2) 节点 i 的左子节点在位置 2 * i + 1 3) 节点 i 的右子节点在位置 2 *

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法， 比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大 的几个）及相

Bloom Filter概念和原理焦萌 2007年1月27日 Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，Bloom

1.1. 问题描述     在一个二维整数数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。      例如下面的二维数组就是每行、每列都递增排序。如果在这个数组中查找数字7，则返回true；如果查找数字5，由于数组不含有该数字，则返回false。 图1-1

http://blog.csdn.net/sunmenggmail/article/category/1085765

【题目】已知一个二维整数数组（或者说，一个整数矩阵），每行从左到右递增，每列从上往下递增。要求定义一个函数，输入矩阵和某个整数k，判断k是否在这个矩阵内。【思路】像四叉树那样递归查找，这是一种思路，不过我不是很喜欢。我希望一个循环就能搞定，不希望碰到类似于回溯之类的逻辑。如果一个循环就搞定，那么最好是能像切西瓜一样，把不要的部分一点点切掉，同时剩下的部分仍旧是规整的一块。

桶排序是另外一种以O(n)或者接近O(n)的复杂度排序的算法. 它假设输入的待排序元素是等可能的落在等间隔的值区间内.一个长度为N的数组使用桶排序, 需要长度为N的辅助数组. 等间隔的区间称为桶, 每个桶内落在该区间的元素. 桶排序是基数排序的一种归纳结果 算法的主要思想: 待排序数组A[1...n]内的元素是随机分布在[0,1)区间内的的浮点数.辅助排序数组B[0....n-1]的每一个

磁盘数据结构存储tree数据库目录(?)[+]从B 树、B+ 树、B* 树谈到R 树 作者：July、weedge、Frankie。编程艺术室出品。说明：本文从B树开始谈起，然后论述B+树、B*树，最后谈到R 树。其中B树、B+树及B*树部分由weedge完成，R 树部分由Frankie完成，全文最终由July统稿修订完成。出处：http://blog.csdn.n

基数排序是非比较排序算法,算法的时间复杂度是O(n). 相比于快速排序的O(nlgn),从表面上看具有不小的优势.但事实上可能有些出入,因为基数排序的n可能具有比较大的系数K.因此在具体的应用中,应首先对这个排序函数的效率进行评估.基数排序的主要思路是,将所有待比较数值(注意,必须是正整数)统一为同样的数位长度,数位较短的数前面补零. 然后, 从最低位开始, 依次进行一次稳定排序(我们常用上一

计数排序是一种算法复杂度 O(n) 的排序方法，适合于小范围集合的排序。比如100万学生参加高考，我们想对这100万学生的数学成绩（假设分数为0到100）做个排序。我们如何设计一个最高效的排序算法。本文不光给出计数排序算法的传统写法，还将一步步深入讨论算法的优化，直到时间复杂度和空间复杂度最优。先看看计数排序的定义Counting sort (sometimes referred to a

堆堆排序数据结构白话经典算法算法目录(?)[+] 堆排序与快速排序，归并排序一样都是时间复杂度为O(N*logN)的几种常见排序方法。学习堆排序前，先讲解下什么是数据结构中的二叉堆。二叉堆的定义二叉堆是完全二叉树或者是近似完全二叉树。二叉堆满足二个特性：1．父结点的键值总是大于或等于（小于或等于）任何一个子节点的键值。2．每个结点的左子树和右子树都是一个