机器学习系列13:机器学习诊断法

在机器学习中,我们训练了一个模型,可能会发现这个模型得到的数据与实际数据偏差太大。这时,通常我们会在如下办法中选择去优化我们的算法:

 

  • 得到更多的训练集;

  • 减小特征的数目;

  • 尝试去增加特征;

  • 增加多项式;

  • 增大 λ;

  • 减小 λ。

 

以上这些步骤通常会花费你大量的时间,而且毫无目的地选择很可能会没有效果。

9150e4e5ly1fkna6imbtaj20go0azgmf.jpg

为了防止以上的事情发生,减少让你抓狂的几率,维护世界的和平,我们需要用到机器学习诊断法(Machine learning diagnostic)去决定如何优化我们的算法。

 

 

评估假设(Evaluating a Hypothesis)

 

我们在训练机器学习模型时,经常会遇到过拟合问题。但何时是过拟合呢?这就需要我们来发现,一种方法是通过画出函数图像,例如下面这幅图就能看出是一个过拟合。

未命名图片.png

事实上我们拟合的函数经常有很多个特征,导致函数图像很难画出,需要另一种方法——评估假设(Evaluating a Hypothesis)。具体怎么操作呢?我们一起来看一下。

 

我们拥有如下数据集,需要把这些数据集随机按 7:3 的比例划分为两类:训练集和测试集。训练集用来训练模型,测试集用来对模型的准确性进行评估。

未命名图片.png

对于线性回归来说,我们就用测试集的代价函数来评估。

未命名图片.png

 

对于逻辑回归这种分类问题,我们除了可以用测试集的代价函数去解决以外,还可以用测试误差来计算。

未命名图片.png

对于这个函数,我们可以这么理解。如果预测结果与原结果不一致,函数值就为 1,也就是出现误差;否则函数值为 0。最后求测试误差求平均值得到最终结果。

未命名图片.png

 

 

模型选择

 

对于机器学习,我们可能选择各种次数的多项式作为模型。但是如何确定多项式的次数才是一个令人头痛的问题。

 

我们用 d 来表示选择模型多项式的次数:

未命名图片.png

选择完成后,我们会先用数据集训练出参数集 θ,根据参数集 θ 计算出对应的代价函数,比较代价函数之后,选择一个最优的多项式作为模型。

 

这时候,我们的数据集就不能按照之前的原则进行划分了,要划分成 3 部分:训练集(60%)、交叉验证集(20%)和测试集(20%)。

未命名图片.png

首先我们通过训练集训练出参数集 θ,然后根据交叉验证集选择出最优的多项式模型,最后通过测试集去评估假设。

 

 

ps. 本篇文章是根据吴恩达机器学习课程整理的学习笔记。如果想要一起学习机器学习,可以关注微信公众号「SuperFeng」,期待与你的相遇。

请关注公众号.PNG

发布了41 篇原创文章 · 获赞 11 · 访问量 5607
展开阅读全文

从本质如何理解机器学习

05-10

从算法发明者的角度让您醍醐灌顶地快速入门机器学习。让不管是初学者还是已经学习过的朋友都会有所启发。这个链接需要微信打开,点击报名然后微信识别弹出的二维码即可。(这次是免费性质的分享,但是平台要求超过60人预订才能发文章,希望大家帮忙转发到朋友圈。) 手推机器学习各大经典算法成为算法研发岗位的必备内容。无论您是从事数据挖掘还是应用机器学习进行图像识别和商品推荐。仅仅会调用 Python 机器学习包是不具备竞争力的。而机器学习算法繁多,每个都靠记忆推导公式来记住机器学习算法这是很困难的。只有了解,从算法发明者的角度出发理解算法原理,才能举一反三。学会一种算法的本质,就能领悟多种算法。 让您掌握学习机器学习的方法,快速入门机器学习。 本场 Chat 首先会带领大家从算法发明者的角度看机器学习算法的共同之处,从而发现机器学习算法的本质。然后从算法发明者的角度来演示几个经典机器学习算法是如何被创造的。帮助大家对机器学习算法做到知其然,并知其所以然。 机器学习写程序并不复杂,难的在于懂原理。以及如何应用它。 本场 Chat 您将会学到如下内容: 1. 了解机器学习算法的本质 2. 从算法发明者的角度看机器学习算法原理 3. 了解决策树发明的思路 4. 结合初学者角度看 SVM 5. 介绍评估算法的性能指标 6. 了解极大似然法和机器学习算法的联系 7. 介绍逻辑回归 8. 通俗介绍梯度下降的本质是什么,并使用 Python 进行实践。 *当前内容版权归码字科技所有并授权显示,盗版必究。[阅读原文](http://gitbook.cn/gitchat/activity/5cd4d67b1fee452a3d37bf30)*

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览