![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 53
ChiiZhang
向大佬学习
展开
-
为什么随机梯度算法中每一次都只用一个样本,却能保证参数最后收敛?
借鉴https://www.sohu.com/a/131923387_473283中的一段内容:随机梯度下降算法最大的缺点就是在每次更新时可能并不会按照正确的方向进行,因此可能在优化的过程中带来扰动。如图 批处理最后得到是一个局部的最小值,随机处理用每一个样本更新,可能没有使用全部的数据会在另一个地方找到了局部最小值。让我用一个例子来说明这个问题: 随机梯度处理就是比如你要找一...原创 2018-07-01 15:47:14 · 1423 阅读 · 0 评论 -
支持向量机(二)——深入理解最优间隔分类器
最优间隔分类器理论之前我们提到在支持向量机中,我们的目标是寻找一个超平面,使得离超平面比较近的点能有更大的间距,也就是说我们不必考虑所有的点都必须远离超平面,我们关心求得的超平面能够让所有点中离它最近的点有最大间距。 因此,注意最优间隔分类器我们的任务是什么,就是使最近的点的几何间距最大。先上公式: 解释一下: Max的γ,w,b为参数,右边的γ为最优化的目标函数,其实就是几...原创 2018-07-09 01:37:05 · 1061 阅读 · 0 评论 -
支持向量机(一)——深入理解函数间隔与几何间隔
1.支持向量机和logistic函数的有什么区别实践发现,在所给的例子中,两种方法线性划分两类事物时得到的线性分类器的效果差不多。那具体的差别在哪呢? ···SVM更关心的是靠近中间分割线的点,让他们尽可能地原理中间线,而不是在所有点上达到最优,因为那样的话,要使得一部分点靠近中间线来换取另外一部分点更加原理中间线。因此支持向量机和和逻辑斯蒂回归的不同点,一个是考虑局部(不关心已经确定远离的...原创 2018-07-09 01:50:58 · 13021 阅读 · 6 评论 -
支持向量机(三)——深入理解核函数,软间隔SVM
快捷键-加粗 按按按按按Ctrl + B -斜体 CTRL + I -引用 CTRL + Q -插入链接 Ctrl + L键键键键键 -插入代码 按下按下按下按下按下Ctrl + K -插入图片 按按按CTRL + G -提升标题 Ctrl + H键键键键键 -有序列表 ...原创 2018-07-11 15:47:12 · 3161 阅读 · 0 评论 -
吴恩达网易机器学习第6课:判别模型,生成模型以及朴素贝叶斯模型
本文结合网易云吴恩达机器学习公开课中文课件内容以及个人理解,对这一章节进行介绍。红色部分为关键部分或个人的一些理解。1. 生成模型与判别模型1.1 两种模型的区别我们首先假设x为特征,y为类别结果。那么分以下几种方式来理解生成模型与判别模型。(1)官方定义:判别模型是根据特征值来求结果的概率。形式化表示为,在参数确定的情况下,求解条件概率,通俗的解释为在给定特征后预测结果出现的概率。而生成模型是知...原创 2018-07-06 21:47:57 · 3601 阅读 · 0 评论 -
支持向量机(四)——深入理解SMO优化算法
支持向量机的最后一节,用SMO优化算法解决对偶函数的最后优化问题,首先先介绍坐标上升法1.坐标上升法假设我们有一个要求解的优化问题:maxαW(α1,α2,...,αm)maxαW(α1,α2,...,αm)\underset{\alpha}{ max}W(\alpha _{1},\alpha _{2},...,\alpha _{m})这里W是αα\alpha向量的函数。之前我们讲过求...原创 2018-07-13 14:46:21 · 1104 阅读 · 0 评论 -
吴恩达机器学习——学习理论,经验风险最小化(ERM),一般误差(测试误差),VC维
这一章主要是学习的理论。首先我们来关注这章主要研究的问题: 1.我们在实践中针对训练集有训练误差,针对测试集有测试误差,而我们显然更关心的是测试误差。但是实际算法通常都是由训练集和模型结合,那么我们如何针对训练集的好坏来体现出测试误差的信息呢?这是我们研究的第一个问题 2.是否存在某些条件,我们能否在这些条件下证明某些学习算法能够良好工作?1.符号定义写在前面,这里这把各种符号定义...原创 2018-07-20 12:53:06 · 5842 阅读 · 0 评论