![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
sealir
数据和特征决定了机器学习算法的上限,而模型和算法只是不断逼近这个上限而已
展开
-
拉格朗日乘子与KKT条件
引言 本篇文章将详解带有约束条件的最优化问题,约束条件分为等式约束与不等式约束,对于等式约束的优化问题,可以直接应用拉格朗日乘子法去求取最优值;对于含有不等式约束的优化问题,可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解,只有在凸优化的情况下,才能保证得到的是最优解,所以本文称拉格朗日乘子法得到的为可行解,其实就是局部极小值,接下来从无约束优化开...转载 2018-12-19 23:45:25 · 401 阅读 · 0 评论 -
极大似然估计
贝叶斯决策 首先来看贝叶斯分类,我们都知道经典的贝叶斯公式: P(w∣x)=P(x∣w)P(w)))P(x))P(w|x) = \frac{P(x|w)P(w)))}{P(x))}P(w∣x)=P(x))P(x∣w)P(w))) 其中: P(w)P(w)P(w):为先验概率,表示每种类别分布的概率; P(x∣w)P(x|w)P(x∣w):为类条件概率,表示...转载 2018-12-19 04:22:31 · 195 阅读 · 0 评论 -
决策树---信息增益,信息增益比,基尼指数的理解
一、决策树 决策树是表示基于特征对实例进行分类的树形结构。 从给定的训练数据集中,依据特征选择的准则,递归的选择最优划分特征,并根据此特征将训练数据进行分割,使得各子数据集有一个最好的分类的过程。 决策树算法3要素: (1)特征选择 (2)决策树生成 (3)决策树剪枝 关于决策树生成: 决策树的生成过程就是 使用满足划分准则的特征不断...转载 2018-12-21 23:15:21 · 4096 阅读 · 0 评论 -
机器学习:信息熵理解
如果说概率是对事件确定性的度量、那么信息(包括信息量和信息熵)就是对事物不确定性的度量。信息熵是由香农(C.E.Shannon)在1948年发表的论文《通信的数据理论(A Mathematical Theory of Communication)》中提出的概念。他借用热力学中热熵的概念(热熵是表示分子状态混乱程度的物理量),解决了对信息的量化度量问题,也常用来对不确定性进行度量。信息量...原创 2018-12-24 03:36:45 · 1507 阅读 · 0 评论 -
逻辑回归算法分析
二分类问题 ...原创 2018-12-28 23:43:50 · 560 阅读 · 0 评论 -
梯度下降算法
转 一文看懂常用的梯度下降算法 2017年11月29日 00:00:00 JeemyJohn 阅读数:68295 作者:叶&n...转载 2018-12-20 23:40:20 · 2111 阅读 · 0 评论 -
机器学习:PCA算法分析
数据的向量表示及降维问题 1)高维特征的降维,以提高运算速度 2)白化对特征预处理,以去除特征之间的相关性,这是很多算法的预处理步骤向量的表示及基变换 两个维数相同的向量的内积被定义为:(a1,a2,...,an)⋅(b1,b2,...,bn)T=a1b1+a2b2+...+anbn(a_1, a_2, ..., a_n) \cdot (b_1, b_2, ..., b...转载 2018-12-19 23:42:06 · 343 阅读 · 0 评论