关闭

贝叶斯学习及共轭先验

今天的主要任务是来理解共轭先验。最近在研究主题模型,里面提到了这个,所以有必要学习和掌握。     Contents      1. 共轭先验的概念    2. Beta分布和伯努力分布    3. Dirichlet分布和多项式分布     1. 共轭先验的概念      在贝叶斯统计理论中,如果某个随机变量...
阅读(8308) 评论(4)

调度场算法与逆波兰表达式

本文的主要内容是如何求一个给定的表达式的值,具体思路就是先将普通算术的中缀表达式转化为后缀表达式,这一步用到的算法叫做调度场算法。然后对后缀表达式,也就是逆波兰表达式求值。 题目:http://acm.hdu.edu.cn/showproblem.php?pid=3596 代码:...
阅读(3184) 评论(2)

SlopOne推荐算法

在开源框架taste中有SlopOne的Java实现,效果不错。...
阅读(2488) 评论(0)

径向基(RBF)神经网络

RBF网络能够逼近任意非线性的函数。可以处理系统内难以解析的规律性,具有很好的泛化能力,并且具有较快的学 习速度。当网络的一个或多个可调参数(权值或阈值)对任何一个输出都有影响时,这样的网络称为全局逼近网络。 由于对于每次输入,网络上的每一个权值都要调整,从而导致全局逼近网络的学习速度很慢,比如BP网络。如果对于 输入空间的某个局部区域只有少数几个连接权值影响输出,则该网络称为局部逼近网络,...
阅读(7959) 评论(0)

三种重要哈希介绍

一致性哈希算法是在1997年由麻省理工学院提出,设计的目标是为了解决因特网的热点问题。一致性哈希算法解决了在P2P环境中最为关键的问题,即如何在动态的网络拓扑中分布存储和路由。接下来详细讲述其原理并实现。   Contents     1. 算法简单介绍   2. 算法原理描述   3. 算法具体实现...
阅读(2825) 评论(1)

L2正则化方法

在机器学习中,无论是分类还是回归,都可能存在由于特征过多而导致的过拟合问题。当然解决的办法有     (1)减少特征,留取最重要的特征。   (2)惩罚不重要的特征的权重。   但是通常情况下,我们不知道应该惩罚哪些特征的权重取值。通过正则化方法可以防止过拟合,提高泛化能力。   先来看看L2正则化方法。对于之前梯度下降讲到的损失函数来说,在代价函数后面加上一个正则化项,得到...
阅读(12499) 评论(0)

多项式回归模型(Office Prices)

题目:https://www.hackerrank.com/challenges/predicting-office-space-price   分析:还是上次的房价预测题目,指明要用多项式回归拟合。在多元多项式拟合时候,目标函数表示如下               对其目标函数求偏导得到                很容易写出代码。   代码: #coding:ut...
阅读(3602) 评论(0)

房价预测(HackerRank)

从今天开始要多做一些关于机器学习方面的竞赛题目,题目来源主要是Hackerrank和Kaggle。...
阅读(3488) 评论(0)

KKT条件

在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是 两种最常用的方法。在有等式约束时使用拉格朗日乘子法,在有不等约束时使用KKT条件。关于拉格朗日乘子法之前介绍过,不再赘述。详见:http://blog.csdn.net/acdreamers/article/details/41413445    接下来主要介绍...
阅读(2975) 评论(1)

协方差与协方差矩阵

本文讲的主要内容是协方差以及协方差矩阵。   在统计学中,我们见过的最基本的三个概念是均值,方差,标准差。假定给定了n个样本的集合,那么公式如下           均值是描述样本的平均值,标准差描述的是样本集合的各个点到均值距离的平均,体现了样本的散步程度。而方 差仅仅是标准差的平方。     实际上,上述的方差是针对一维数据的情况进行统计描述。考虑这样一种情况:假设我们需...
阅读(1991) 评论(0)

蒙特卡洛算法

今天开始研究Sampling Methods,接下来会分为四部分进行讲解。本文是开篇文章,先来讲讲蒙特卡洛算法。     Contents      1. 蒙特卡洛介绍    2. 蒙特卡洛的应用    3. 蒙特卡洛积分       1. 蒙特卡洛介绍      蒙特卡罗方法(Monte Carlo method),也称统计模拟方法,是二十世纪四十年代中期由于科学技术的...
阅读(25146) 评论(3)

关于欧拉工程的一道递推题

今天来讲的是在欧拉工程上的一道递推题,题目描述如下链接。   题目:https://projecteuler.net/problem=492   当然,这道题在51Nod上有一个比较通用的版本,链接如下   题目:http://www.51nod.com/contest/problem.html#!problemId=1361   题意:给定,并且有,给定两个数和,求的值。其中...
阅读(2911) 评论(2)

协同过滤算法

今天要讲的主要内容是协同过滤,即Collaborative Filtering,简称CF。   Contents      1. 协同过滤的简介    2. 协同过滤的核心    3. 协同过滤的实现    4. 协同过滤的应用     1. 协同过滤的简介      关于协同过滤的一个最经典的例子就是看电影,有时候不知道哪一部电影是我们喜欢的或者评分比较高的,那...
阅读(40925) 评论(13)

L-BFGS算法

前面的文章中,讲述过BFGS算法,它是用来求解最优化问题的,在这个算法中,相对于普通的牛顿迭代法有很大的改进。链接:http://blog.csdn.net/acdreamers/article/details/44664941。在BFGS算法中,仍然有缺 陷,比如当优化问题规模很大时,矩阵的存储和计算将变得不可行。为了解决这个问题,就有了L-BFGS算法。     Contents...
阅读(15480) 评论(3)

FaceBook机器学习开源DL模块

据GIGAOM报道,近日,Facebook人工智能研究院(FAIR)开源了一系列软件库,以帮助开发者建立更大、更快 的深度学习模型。开放的软件库在Facebook被称作模块。用它们替代机器学习领域常用的开发环境Torch中的默 认模块,可以在更短的时间内训练更大规模的神经网络模型。   如果想了解更多的内容,可以参考下面的一些文章。   1. Facebook开源深度学习软件库,帮助开...
阅读(1994) 评论(0)

BFGS算法

今天,我来讲一种在机器学习中常用到的优化算法,叫做BFGS算法。BFGS算法被认为是数值效果最好的拟牛顿 法,并且具有全局收敛性和超线性收敛速度。那么接下来将会详细讲解。   Contents      1. 什么是拟牛顿法    2. 拟牛顿法原理    3. DFP算法原理    4. BFGS算法原理    5. BFGS算法的实现     1. 什么是拟牛顿法...
阅读(25487) 评论(12)

K-D树

K-D树,即K-Dimensional Tree,是一种高维索引树型数据结构。常用于大规模高维数据空间的最邻近或者K邻 近查找,例如图像检索中高维图像特征向量的K邻近匹配,对KNN算法的优化等。   Contents      1. K-D树的基本原理    2. K-D树的改进(BBF算法)    3. K-D树的C++实现    4. K-D树的开源框架介绍     1....
阅读(6754) 评论(1)

随机森林

前面介绍过决策树的三种实现:ID3算法,C4.5算法和CART算法。虽然这些决策树有很多优良的性质,比如训练时间 复杂度较低,模型容易展示等等,但是同时单决策树有一些不好的地方,比如容易over-fitting,虽然剪枝可以减 少这种现象的发生,但是还是不够的。为了减少决策树的不足,近年来又提出了许多模型组和+决策树的算法,这些算 法都是生成N棵决策树,虽然这N棵树都很简单,但是它们综合起来...
阅读(6033) 评论(1)

决策树之C4.5算法

C4.5算法是机器学习中的一个重要的决策树算法,它是对ID3算法的改进,相对于ID3算法主要有以下几个改进     (1)用信息增益率来选择属性   (2)在决策树的构造过程中对树进行剪枝   (3)对非离散数据也能处理   (4)能够对不完整数据进行处理   接下来分别详细讲述这几点的改进方案   (1)用信息增益率来选择属性       在ID3算法中,我们知道是用信息增...
阅读(4611) 评论(0)

决策树之CART算法

在之前介绍过决策树的ID3算法实现,今天主要来介绍决策树的另一种实现,即CART算法。   Contents      1. CART算法的认识    2. CART算法的原理    3. CART算法的实现     1. CART算法的认识      Classification And Regression Tree,即分类回归树算法,简称CART算法,它是决策树的一种实...
阅读(38686) 评论(12)
520条 共26页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:2293819次
    • 积分:24044
    • 等级:
    • 排名:第301名
    • 原创:478篇
    • 转载:42篇
    • 译文:0篇
    • 评论:504条
    最新评论