- 博客(5)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 高斯判别分析
1.多值正太分布多变量正太分布描述的是n维随机变量的分布情况（例如变量x有3个属性（连续），胡须长度，角大小，毛长度），单值正太分布（即x只有一个属性），在多值情况下，每个属性都符合高斯分布，所以均值U变成了n维向量，σ也变成了矩阵Σ（协方差矩阵,对角线上为方差）写作N(u, Σ)。假设有n 个随机变量x1 , x2, … , xn。μ的第i 个分量是E(Xi )，而Σii = Var(xi
2015-06-29 16:53:37
657
原创 无监督K-maeans算法
K-means 算法要求组内数据相似程度高，组间相似程度低。首先随机的初始化几个点，即几个类别。计算每个数据点到每个类别的距离（即相似度），选择最小的距离，把该点分配到该类别里，当所有数据都分配完后，重新计算每个类别的中心，重复上述步奏直到收敛。k-means不是凸函数，可能出现局部最优，所以可以进行多次的取初始值，找到最好的类别分类。下图是聚类过程证明k-means是可以完全收敛的，
2015-06-28 21:01:31
402
原创 无监督学习的密度估计
在判断一个数据是否属于某个类可以用p(x)来进行判断，我们知道概率密度的情况下，很好求p(X).当遇到一个奇怪的分布，我们不知道是什么分布，在教课上我们也找不到这个分布，我们常见的分布有高斯分布，有可能这个分布有2个高斯分布联合产生的。上图是2个高斯分布形成的，我们不知道数据的标签，也不知道数据是属于哪个高斯分布的即分布的概率密度不知道。由于我们不知道数据的类别，我们可
2015-06-28 20:56:57
1679
原创 加权准确率、目标函数、算法收敛问题
判断预测函数是出现在优化的目标函数上还是出现在目标函数的算法收敛上。注释：a(Q)加权准确率，对于识别垃圾邮件权值高，J(Q)优化的目标函数。优化的目标函数：J(Q)；第一种情况：1.svm的加权准确率大于线性回归和贝叶斯的加权准确率且svm的J(Q)大于线性回归和贝叶斯的J(Q),说明出现算法的收敛上。第二种情况：2.svm的加权准确率大于
2015-06-28 15:54:51
2900
原创 高方差与高偏差
1.数据欠拟合会出现高偏差问题，比如数据的趋势是二次函数，用一次函数取拟合会出现高的偏差。2.数据过度的拟合会出现高方差问题，比如用10个数据特征去拟合9个数据会出现高的方差。3.怎么处理高偏差和高方差问题：高偏差：训练误差很大，训练误差与测试误差差距小，随着样本数据增多，训练误差增大。解决方法：1.寻找更好的特征（具有代表性的）2.用更多的特征（增大输入向量的维度）高方差
2015-06-28 15:16:13
7327
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人