![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
梵悟
浮游生物
展开
-
感知机
感知机模型(未完待续)感知机通过学习出一个超平面将数据分隔成两部分,实现二分分类的效果。使用感知机的前提是数据线性可分(凸包?)公式f(x) = sign(wx + b)其中w和x都是向量。 w表示weighted vector, b表示bias。 当w为二维时,表示用一条线分割平面。 当w为三维时,表示用一个平面分隔一个三维空间。wx+b的几何解释w为超平面的法向量,b为截距。点到平面距离:(wx + b) / ||w||感知机策略如何表示经验风...原创 2021-03-29 20:11:57 · 186 阅读 · 0 评论 -
监督学习的三类问题-分类问题,标注问题,回归问题
分类问题输出为有限个离散值的监督学习,输入可以是连续或者离散的。二类分类和多类分类。二类分类的四种情况(T/F表示预测结果是否正确,P/N表示预测结果的值)TP - 将正类预测为正类TN - 将负类预测为负类FP - 将负类预测为正类FN - 将正类预测为负类精确率、召回率和F1精确率: 预测正确的正类与预测结果为正类的比例precision = TP / (TP + FP)召回率:预测正确的正类与实际的正类的比例recall = TP / (TP..原创 2021-03-23 13:24:38 · 1461 阅读 · 0 评论 -
生成模型和判别模型
生成方法所学到的模型为生成模型。判别方法所学到的模型为判别模型。通过生成方法能得到联合概率分布,通过判别方法只能得到条件概率或决策函数。生成方法收敛更快,存在隐变量时也可以使用(?)。判别方法直接得到条件概率或决策函数,面向结果,可以对数据进行抽象,定义特征和使用特征,简化学习过程。(大多数用的都是判别方法?)...原创 2021-03-22 16:00:54 · 62 阅读 · 0 评论 -
过拟合问题和解决方案
过拟合模型越复杂,模型对训练集的测试效果越好,但对测试集的测试效果很差,此时称为过拟合。如样本是9个点,当多项式回归是2次或3次时,拟合效果不错但仍有误差; 当多项式是9次时,可以计算出一条曲线完美通过所有样本点,但这种方式显然把样本的噪音全部拟合出来了,模型放到训练集时效果很差。对此,有正则化(加惩罚项)和交叉验证两种方法来避免过拟合。正则化正则化假设有效的模型不会太复杂(奥卡姆剃刀定律),在经验风险后面加上一个惩罚项,得到结构风险表达式。在多项式回归中,惩罚项可以是参数向..原创 2021-03-22 15:32:49 · 201 阅读 · 0 评论