machine learning 札记

CS229网易公开课
支持向量机
聚类问题
epsilon
超像素  是如何描述的

||x||=根号(x1*x1+.+xn*xn)

什么是梯度
在单变量的实值函数的情况,梯度只是导数,或者,对于一个线性函数,也就是线的斜率.
梯度一词有时用于斜度,也就是一个曲面沿着给定方向的倾斜程度.可以通过取向量梯度和所研究的方向的点积来得到斜度.梯度的数值有时也被成为梯度.

对数似然函数

如果△z与△x之比当△x→0时的极限存在，那么此极限值称为函数z=f(x,y)在(x0,y0)处对x的偏导数(partial derivative)。记作f'x(x0,y0)。

对于线性不可分的情况，通过使用核函数（一种非线性映射算法）将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分。

这个与问题真实解之间的误差，就叫做风险（更严格的说，误差的累积叫做风险）

线性函数还有一个统一的名称——超平面（Hyper Plane）

“分类间隔”的指标 表示分类的好坏

因此最大化几何间隔成了我们训练阶段的目标

收敛速度

这部分不等于0的拉格朗日乘子后面所乘的样本点，其实都落在H1和H2上，也正是这部分样本（而不需要全部样本）唯一的确定了分类函数，当然，更严格的说，这些样本的一部分就可以确定，因为例如确定一条直线，只需要两个点就可以，即便有三五个都落在上面，我们也不是全都需要。这部分我们真正需要的样本点，就叫做支持（撑）向量！（名字还挺形象吧，他们“撑”起了分界线）

核函数的基本作用就是接受两个低维空间里的向量，能够计算出经过某个变换后在高维空间里的向量内积值

松弛变量
惩罚因子C决定了你有多重视离群点带来的损失

样本的偏斜问题，也叫数据集偏斜（unbalanced），
二次规划问题的复杂度

Back Propagation

深度学习最常见的一种算法，就是自动编码器算法了

这种算法的大致思想是：将神经网络的隐含层看成是一个编码器和解码器，输入数据经过隐含层的编码和解码，到达输出层时，确保输出的结果尽量与输入数据保持一致。也就是说，隐含层是尽量保证输出数据等于输入数据的。  这样做的一个好处是，隐含层能够抓住输入数据的特点，使其特征保持不变。

下图是一个自编码神经网络的示例

逐层贪婪训练法依次训练网络的每一层，进而预训练整个深度神经网络。在本节中，我们将会学习如何将自编码器“栈化”到逐层贪婪训练法中，从而预训练（或者说初始化）深度神经网络的权重。

栈式自编码神经网络是一个由多层稀疏自编码器组成的神经网络

在机器学习中你会你会需要构架一个虚拟的世界，并选择合适的、用于描述某个事物状态的各种因素。 
而线性代数正是有关如何构架“世界”的学问。