算法
文章平均质量分 51
starstarstone
从事网络数据传输,流媒体方面的编程工作。最近开始研究搜索引擎相关技术
展开
-
文本去重之SimHash算法
说到文本相似性计算,大家首先想到的应该是使用向量空间模型VSM(Vector Space Model)。使用VSM计算相似度,先对文本进行分词,然后建立文本向量,把相似度的计算转换成某种特征向量距离的计算,比如余弦角、欧式距离、Jaccard相似系数等。这种方法存在很大一个问题:需要对文本两两进行相似度比较,无法扩展到海量文本的处理。想想像Google这种全网搜索引擎,收录了上百亿的网页,爬虫转载 2012-10-12 19:02:21 · 639 阅读 · 0 评论 -
卡特兰数
卡特兰数又称卡塔兰数,是组合数学中一个常出现在各种计数问题中出现的数列。由以比利时的数学家欧仁·查理·卡塔兰 (1814–1894)命名。目录1简介2原理3应用▪ 括号化 ▪ 出栈次序 ▪ 凸多边形三角划分 ▪ 给定节点组成二叉树 4扩展5C++应用1简介编辑卡特兰数又称卡塔兰数,英文名Catalan转载 2014-02-07 13:25:49 · 1053 阅读 · 0 评论 -
数据挖掘十大经典算法(9) 朴素贝叶斯分类器 Naive Bayes
贝叶斯分类器 贝叶斯分类器的分类原理是通过某对象的先验概率,利用贝叶斯公式计算出其后验概率,即该对象属于某一类的概率,选择具有最大后验概率的类作为该对象所属的类。目前研究较多的贝叶斯分类器主要有四种,分别是:Naive Bayes、TAN、BAN和GBN。 贝叶斯网络是一个带有概率注释的有向无环图,图中的每一个结点均表示一个随机变量,图中两结点 间若存在着一条弧,则表示这两结点相对转载 2013-08-12 11:11:36 · 949 阅读 · 0 评论 -
数据挖掘十大经典算法(7) AdaBoost
Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器 (强分类器)。其算法本身是通过改变数据分布来实现的,它根据每次训练集之中每个样本的分类是否正确,以及上次的总体分类的准确率,来确定每个样本的权 值。将修改过权值的新数据集送给下层分类器进行训练,最后将每次训练得到的分类器最后融合起来,作为最后的决策分类器。转载 2013-08-12 11:09:51 · 649 阅读 · 0 评论 -
数据挖掘十大经典算法(6) PageRank
PageRank是Google算法的重要内容。2001年9月被授予美国专利,专利人是Google创始人之一拉里·佩奇(Larry Page)。因此,PageRank里的page不是指网页,而是指佩奇,即这个等级方法是以佩奇来命名的。 Google的 PageRank根据网站的外部链接和内部链接的数量和质量俩衡量网站的价值。PageRank背后的概念是,每个到页面的链接都是对该页面的一次投转载 2013-08-12 11:09:06 · 686 阅读 · 0 评论 -
数据挖掘十大经典算法(5) 最大期望(EM)算法
在统计计算中,最大期望(EM,Expectation–Maximization)算法是在概率(probabilistic)模型中寻找参数最大似然估计的算法,其中概率模型依赖于无法观测的隐藏变量(Latent Variabl)。最大期望经常用在机器学习和计算机视觉的数据集聚(Data Clustering)领域。最大期望算法经过两个步骤交替进行计算,第一步是计算期望(E),也就是将隐藏变量象能够观测转载 2013-08-12 11:07:39 · 848 阅读 · 0 评论 -
数据挖掘十大经典算法(3) Support vector machines
支持向量机,英文为Support Vector Machine,简称SV机(论文中一般简称SVM)。它是一种監督式學習的方法,它广泛的应用于统计分类以及回归分析中。支持向量机属于一般化线性分类器.他们也可以认为是提克洛夫规范化(Tikhonov Regularization)方法的一个特例.这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区.因此支持向量机也被称为最大边缘区分类转载 2013-08-12 11:05:08 · 713 阅读 · 0 评论 -
初探数据挖掘中的十大经典算法
以下就是从参加评选的18种候选算法中,最终决选出来的十大经典算法:一、C4.5C4.5,是机器学习算法中的一个分类决策树算法,它是决策树(决策树也就是做决策的节点间的组织方式像一棵树,其实是一个倒树)核心算法ID3的改进算法,所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。C4.5相比于ID3改进的地转载 2013-08-12 11:16:14 · 663 阅读 · 0 评论 -
数据挖掘十大经典算法(10) CART: 分类与回归树
如果一个人必须去选择在很大范围的情形下性能都好的、同时不需要应用开发者付出很多的努力并且易于被终端用户理解的分类技术的话,那么Brieman, Friedman, Olshen和Stone(1984)提出的分类树方法是一个强有力的竞争者。我们将首先讨论这个分类的过程,然后在后续的节中我们将展示这个过程是如何被用来预测连续的因变量。Brieman等人用来实现这些过程的程序被称为分类和回归树(CART转载 2013-08-12 11:13:44 · 906 阅读 · 0 评论 -
数据挖掘十大经典算法(4) The Apriori algorithm
Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里,所有支持度大于最小支持度的项集称为频繁项集,简称频集。 Apriori演算法所使用的前置统计量包括了:最大规则物件数:规则中物件组所包含的最大物件数量最小支援:规则中物件或是物件组必顸符合的最低案例数最小信心水准:计转载 2013-08-12 11:06:45 · 886 阅读 · 0 评论 -
数据挖掘十大经典算法(2) The k-means algorithm
k-means algorithm算法是一个聚类算法,把n的对象根据他们的属性分为k个分割,k 假设有k个群组Si, i=1,2,...,k。μi是群组Si内所有元素xj的重心,或叫中心点。 k平均聚类发明于1956年, 该算法最常见的形式是采用被称为劳埃德算法(Lloyd algorithm)的迭代式改进探索法。劳埃德算法首先把输入点分成k个初始化分组,可以是随机的或者使用一些转载 2013-08-12 11:03:38 · 924 阅读 · 0 评论 -
数据挖掘十大经典算法(1) C4.5
机器学习中,决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,而每个分叉路径则代表的某个可能的属性值,而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出,若欲有复数输出,可以建立独立的决策树以处理不同输出。从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。决策树学习也是数据挖掘中一个普通的转载 2013-08-12 11:02:32 · 723 阅读 · 0 评论 -
Ticket Servers: Distributed Unique Primary Keys on the Cheap
Ticket Servers: Distributed Unique Primary Keys on the CheapFebruary 8th, 2010(re-published from the Flickr Code Blog)This is the first post in the Using, Abusing and Scaling MySQL at Flic转载 2012-12-20 12:18:03 · 594 阅读 · 0 评论 -
数据库分库分表(sharding)系列
数据库分库分表(sharding)系列 作者:黄钧航 ,发布于2012-11-22,来源:CSDN 目录;(一) 拆分实施策略和示例演示(二) 全局主键生成策略(三) 关于使用框架还是自主开发以及sharding实现层面的考量(四) 多数据源的事务处理(五) 一种支持自由规划无须数据迁移和修转载 2012-12-20 12:13:23 · 1298 阅读 · 0 评论 -
使用std::vector 的陷阱
容器里面都应该只存储简单数据结构,一旦数据结构为复杂数据结构时,则应该存储该数据的指针。------------------------------------------------------------------------内容摘要 因为vector不象list,vector始终要保持一个完整的内存结构(因为就是一个数组),这样才可以让values[1]这样的方式正确运行. 但转载 2011-12-22 11:33:05 · 941 阅读 · 0 评论 -
几个简单有趣的算法
闲来无事总结3个我认为比较好的算法,很简单,但有趣。我们应该学会欣赏简单的东西,拒绝钻进复杂的东西里面,比如股市... 这三个算法分别为大数乘法,求交集算法,将一个数拆成连续整数和算法以及8位倒置算法。这些算法都非出自本人,但是本人实现了一个。 1.大数乘法:这个算法很著名,它可以突破计算机的限制从而计算一些很大的数,它的效率是重要的,但本文仅仅从逻辑角度来分析,先不分析时间空间复杂性。转载 2012-12-31 11:51:10 · 495 阅读 · 0 评论 -
算法相关网站
leetcode.com原创 2014-02-07 13:31:22 · 1107 阅读 · 0 评论