ACdreamer

欢迎关注知乎:https://www.zhihu.com/people/acdreamers/activities

贝叶斯学习及共轭先验

今天的主要任务是来理解共轭先验。最近在研究主题模型,里面提到了这个,所以有必要学习和掌握。     Contents      1. 共轭先验的概念    2. Beta分布和伯努力分布    3. Dirichlet分布和多项式分布     1. 共轭先验的概念      在贝叶斯统计理论中,如...

2015-10-13 22:25:41

阅读数:11615

评论数:4

调度场算法与逆波兰表达式

本文的主要内容是如何求一个给定的表达式的值,具体思路就是先将普通算术的中缀表达式转化为后缀表达式,这一步用到的算法叫做调度场算法。然后对后缀表达式,也就是逆波兰表达式求值。 题目:http://acm.hdu.edu.cn/showproblem.php?pid=3596 代码:

2015-06-09 21:37:27

阅读数:4574

评论数:3

SlopOne推荐算法

在开源框架taste中有SlopOne的Java实现,效果不错。

2015-06-03 18:41:30

阅读数:3306

评论数:0

径向基(RBF)神经网络

RBF网络能够逼近任意非线性的函数。可以处理系统内难以解析的规律性,具有很好的泛化能力,并且具有较快的学 习速度。当网络的一个或多个可调参数(权值或阈值)对任何一个输出都有影响时,这样的网络称为全局逼近网络。 由于对于每次输入,网络上的每一个权值都要调整,从而导致全局逼近网络的学习速度很慢,比如B...

2015-06-02 16:51:56

阅读数:15034

评论数:1

三种重要哈希介绍

一致性哈希算法是在1997年由麻省理工学院提出,设计的目标是为了解决因特网的热点问题。一致性哈希算法解决了在P2P环境中最为关键的问题,即如何在动态的网络拓扑中分布存储和路由。接下来详细讲述其原理并实现。   Contents     1. 算法简单介绍   2. 算法原理描述   3. 算法具体...

2015-06-02 13:08:50

阅读数:3891

评论数:1

L2正则化方法

在机器学习中,无论是分类还是回归,都可能存在由于特征过多而导致的过拟合问题。当然解决的办法有     (1)减少特征,留取最重要的特征。   (2)惩罚不重要的特征的权重。   但是通常情况下,我们不知道应该惩罚哪些特征的权重取值。通过正则化方法可以防止过拟合,提高泛化能力。   先来看看L2正则...

2015-05-30 12:51:00

阅读数:18706

评论数:0

多项式回归模型(Office Prices)

题目:https://www.hackerrank.com/challenges/predicting-office-space-price   分析:还是上次的房价预测题目,指明要用多项式回归拟合。在多元多项式拟合时候,目标函数表示如下               对其目标函数求偏导得到   ...

2015-05-28 21:00:31

阅读数:5342

评论数:0

房价预测(HackerRank)

从今天开始要多做一些关于机器学习方面的竞赛题目,题目来源主要是Hackerrank和Kaggle。

2015-05-23 21:50:36

阅读数:4607

评论数:0

KKT条件

在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是 两种最常用的方法。在有等式约束时使用拉格朗日乘子法,在有不等约束时使用KKT条件。关于拉格朗日乘子法之前介绍过,不再赘述。详见:http://blog.csdn.n...

2015-04-21 15:05:03

阅读数:4088

评论数:1

协方差与协方差矩阵

本文讲的主要内容是协方差以及协方差矩阵。   在统计学中,我们见过的最基本的三个概念是均值,方差,标准差。假定给定了n个样本的集合,那么公式如下           均值是描述样本的平均值,标准差描述的是样本集合的各个点到均值距离的平均,体现了样本的散步程度。而方 差仅仅是标准差的...

2015-04-21 14:39:10

阅读数:2841

评论数:0

蒙特卡洛算法

今天开始研究Sampling Methods,接下来会分为四部分进行讲解。本文是开篇文章,先来讲讲蒙特卡洛算法。     Contents      1. 蒙特卡洛介绍    2. 蒙特卡洛的应用    3. 蒙特卡洛积分       1. 蒙特卡洛介绍      蒙特卡罗方法(Monte Car...

2015-04-12 17:23:05

阅读数:41322

评论数:4

关于欧拉工程的一道递推题

今天来讲的是在欧拉工程上的一道递推题,题目描述如下链接。   题目:https://projecteuler.net/problem=492   当然,这道题在51Nod上有一个比较通用的版本,链接如下   题目:http://www.51nod.com/contest/problem.html#...

2015-04-11 20:26:53

阅读数:3505

评论数:2

协同过滤算法

今天要讲的主要内容是协同过滤,即Collaborative Filtering,简称CF。   Contents      1. 协同过滤的简介    2. 协同过滤的核心    3. 协同过滤的实现    4. 协同过滤的应用     1. 协同过滤的简介      关于协同过滤的一个最经典的例...

2015-03-30 00:13:37

阅读数:58261

评论数:15

L-BFGS算法

前面的文章中,讲述过BFGS算法,它是用来求解最优化问题的,在这个算法中,相对于普通的牛顿迭代法有很大的改进。链接:http://blog.csdn.net/acdreamers/article/details/44664941。在BFGS算法中,仍然有缺 陷,比如当优化问题规模很大时,矩阵的存储...

2015-03-29 18:12:23

阅读数:19715

评论数:3

FaceBook机器学习开源DL模块

据GIGAOM报道,近日,Facebook人工智能研究院(FAIR)开源了一系列软件库,以帮助开发者建立更大、更快 的深度学习模型。开放的软件库在Facebook被称作模块。用它们替代机器学习领域常用的开发环境Torch中的默 认模块,可以在更短的时间内训练更大规模的神经网络模型。   如...

2015-03-27 02:03:17

阅读数:2622

评论数:0

BFGS算法

今天,我来讲一种在机器学习中常用到的优化算法,叫做BFGS算法。BFGS算法被认为是数值效果最好的拟牛顿 法,并且具有全局收敛性和超线性收敛速度。那么接下来将会详细讲解。   Contents      1. 什么是拟牛顿法    2. 拟牛顿法原理    3. DFP算法原理    4. BFG...

2015-03-27 01:55:41

阅读数:35741

评论数:12

K-D树

K-D树,即K-Dimensional Tree,是一种高维索引树型数据结构。常用于大规模高维数据空间的最邻近或者K邻 近查找,例如图像检索中高维图像特征向量的K邻近匹配,对KNN算法的优化等。   Contents      1. K-D树的基本原理    2. K-D树的改进(BBF算法)  ...

2015-03-27 01:49:11

阅读数:11593

评论数:1

随机森林

前面介绍过决策树的三种实现:ID3算法,C4.5算法和CART算法。虽然这些决策树有很多优良的性质,比如训练时间 复杂度较低,模型容易展示等等,但是同时单决策树有一些不好的地方,比如容易over-fitting,虽然剪枝可以减 少这种现象的发生,但是还是不够的。为了减少决策树的不足,近年来又提出了...

2015-03-27 01:45:12

阅读数:7246

评论数:1

决策树之C4.5算法

C4.5算法是机器学习中的一个重要的决策树算法,它是对ID3算法的改进,相对于ID3算法主要有以下几个改进     (1)用信息增益率来选择属性   (2)在决策树的构造过程中对树进行剪枝   (3)对非离散数据也能处理   (4)能够对不完整数据进行处理   接下来分别详细讲述这几...

2015-03-27 01:43:29

阅读数:6182

评论数:0

决策树之CART算法

在之前介绍过决策树的ID3算法实现,今天主要来介绍决策树的另一种实现,即CART算法。   Contents      1. CART算法的认识    2. CART算法的原理    3. CART算法的实现     1. CART算法的认识      Classification And Reg...

2015-03-27 01:38:05

阅读数:57088

评论数:14

提示
确定要删除当前文章?
取消 删除
关闭
关闭