2017年02月_wangyanphp

02月 01月

原创机器学习（十二）：推荐系统的两种观点

1. 从物理意义出发的观点什么是推荐系统？以电影推荐为例，就是对于一部电影，我们预测某个用户对一部电影的评分。我们用如上所示符号来表示。值得注意的是，很有可能用户没有给某电影打分，此时r(i,j)=0r(i,j)=0。这里需要理清：对于一个电影，我们需要找到一些特征空间XX来衡量这个电影；对于一个用户，我们需要找到一些参数h(x)=wTxh(x)=w^Tx来预测用户对这部电影的评分。

2017-02-10 16:28:56 2245

原创机器学习（十一）：K-Means算法

1. K-Means1.1 核函数的另一种观点之前我们提到过高斯核函数：K(x1,x2)=ϕ(x1)ϕ(x2)=exp(η||x1−x2||2)K(x_1,x_2)=\phi(x_1)\phi(x_2)=exp(\eta||x_1-x_2||^2)当时我们是把ϕ(x)\phi(x)当做对x进行无限维的特征转换。其实根据高斯函数的形状，我们可以将其视为：对x1,x2x_1,x_2相似性的度量/距离

2017-02-10 12:03:18 2048

原创机器学习（十）：PCA

1. PCA1.1 PCA算法为什么要使用主成分分析？正如名字所示，其目的显而易见，不再赘述，此处从自动编码器的角度审视PCA。最小化如下损失函数：C=12m∑i=1m||y(i)−WWTx(i)||2C=\frac 1{2m} \sum_{i=1}^m ||y^{(i)}-WW^Tx^{(i)}||^2根据WWTWW^T的对称性，我们使用eigen-decompose：WWT=VDVTWW

2017-02-09 21:08:13 763

原创机器学习（九）：神经网络（2）——深度学习

1. 深度学习为什么难训练？之前提到过深度学习，那么深度学习跟普通的神经网络相比，难点在于哪里呢？1.1 梯度的不稳定性深度学习的根本问题在于梯度的不稳定性。 σ导数在 σ′(0) = 1/4 时达到最⾼。现在，如果我们使⽤标准⽅法来初始化⽹络中的权重，那么会使⽤⼀个均值为 0 标准差为 1 的⾼斯分布。因此所有的权重通常会满⾜|wj|<1|w_j|\lt1。有了这些信息，我们发现会有|wjσ

2017-02-09 11:53:27 997

原创机器学习（八）：神经网络（1）

（主要参考书籍《神经网络与深度学习》）1. 什么是神经网络1.1 从感知器说起……什么是感知器？很简单，前面我们已经说过了： output=sign(wTx)output=sign(w^Tx) 什么意思呢？我们有一些输入，我们会根据这些输入做出一个决定：YES OR NOT。我们可能会想这么简单有什么用呢？那我们得想一下电脑——CPU和人脑的组成了。先从简单的CPU说起：只需要简单与或非三个

2017-02-08 21:13:51 2903

原创机器学习（七）：集成方法（2）Boost

Boost（提升）方法不同于bagging，基分类器是顺序训练的，每个基分类器使⽤数据集的⼀个加权形式进⾏训练，其中与每个数据点相关联的权系数依赖于前⼀个分类器的表现。特别地，被⼀个基分类器误分类的点在训练序列中的下⼀个分类器时会被赋予更⾼的权重。⼀旦所有的分类器都训练完毕，那么它们的预测就会通过加权投票的⽅法进⾏组合。1. AdaBoost假设我们在对一组数据进行分类的时候，确定一个分类模型；

2017-02-05 19:40:44 3004

原创机器学习（六）：集成算法（1）Bagging

1.Aggregation概论1.1 引言三个臭皮匠，顶个诸葛亮。假设我们有多个预测模型g1,g2...gTg_1,g_2...g_T,能不能将这些模型组合起来，获得更好的性能？回想一下，之前我们Validation：是在多个模型中选择出一个好的模型，现在问题变成了：多个模型组合出一个更好的模型。能不能呢？我们从直观上来看：我们组合是有效果的。1.2 这么多g是怎么获得的？如果使

2017-02-05 12:00:29 1371

原创机器学习（五）：w·x+b模型（2）

3. 支持向量机SVMSVM主要用于分类问题，w∈Rn,b∈R,y∈{−1,1}w\in R^n, b\in R, y\in \{-1,1\}(注意此处不再将b视为w0w_0)3.1 引言3.1.1 training set完全线性可分假设有很多wx+b=0超平面可以将training set中的数据正确分类，那么应该选用哪个（w,b）呢？如下图所示：很容易凭借直觉选出wx+b=0与所有的数

2017-02-04 16:06:53 3430