RounrounZhang的博客

1. 核技巧 1.1 非线性分类问题   非线性分类问题不好求解，一般将其转化为一个线性分类问题进行求解，核技巧就是这样，其基本思想就是通过非线性变换将输入空间对应到一个特征空间上，使得输入空间中的超曲面模型对应于特征空间上的一个超平面模型也就是支持向量机，问题转化为在特征空间中求解支持向量机。1.2 核函数   对于输入空间 \cal X 和特征空间 \cal H，存在一个从 \

一、logistic regression  解决统计学中的分类问题，其分布函数为一条S形的曲线，该曲线以（u,1/2）中心对称，曲线在中心附近增长速度较快，两端增长速度较慢。 1. logistic regression model  是一种分类模型，形式化的表示为条件概率分布 P(Y|X)，其中随机变量X取值为实数，随机变量Y的取值为1或0. 其主要思想即为比较两个条件概率的

1.与极大似然估计的关系： 极大似然估计：已知结果和概率分布估计概率分布的参数 θθ\theta EM算法：已知结果估计概率分布的参数 θθ\theta，EM算法是含有隐变量的概率模型参数的极大似然估计法。  一般的用Y表示观测随机变量的数据，Z表示隐随机变量的数据。Y和Z连在一起称为完全数据，观测数据Y称为不完全数据。   假设给定观测数据Y,其概率分布是P(Y | θθ\theta)...

熵：度量事物的不确定性，熵越大则越混乱。在信息论中，熵描述随机变量的不确定程度。最大熵原理： 最大熵原理为在满足约束条件的模型中选取熵最大的模型。可以理解为对一个随机事件的概率分布进行预测时，预测应当满足全部已知条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。最大熵模型的学习 对于给定的训练数据集T={(x1,y1),(x2,y2),…,(xn,yn)

先用一个例子帮助理解：   假设有三个骰子，分别为D6, D4, D8, 选中每个骰子的概率为13\frac1{3}, 每次选取一枚骰子进行抛掷，得到的数字为{1，2，3，4，5，6，7，8}中的一个，重复10次得到一串数字为[1 6 3 5 2 7 3 5 2 4]，这些观测变量称为可观测状态序列。   在隐马尔可夫模型下，还存在一串隐含状态链，在这个例子里，这串隐含状态链就是我们使用骰

支持向量机：一种二分类模型，其基本模型是定义在特征空间上的间隔最大的线性分类器。1. 线性可分支持向量机 支持向量机的学习目标：在特征空间中找到一个分离超平面，将实例分到不同的类且几何间隔最大，分离超平面对应于方程w·x+b=0,其中w为法向量，b为截距。分离超平面将特征空间划分为两部分，一部分为正类（即法向量指向的一侧），一部分为负类。与感知机的区别： 感知机：利用误分类最小策略求