Andrew Ng Machine Learning 第七周

前言

网易云课堂（双语字幕，不卡）：https://study.163.com/course/courseMain.htm?courseId=1004570029
Coursera：https://www.coursera.org/learn/machine-learning
本人初学者，先在网易云课堂上看网课，再去Coursera上做作业，开博客以记录，文章中引用图片皆为课程中所截。

支持向量机

1.模型描述

Tips:在logistic回归的代价函数上做特殊情况，当y=1时，cost₁，且想要θ^Tx>=1，因为当θ^Tx>=1时，cost函数为0，cost函数惩罚小。当y=0时，cost₀，且想要θ^Tx<=-1

Tips:上式可假设前面一部分为A，后面为λB，而SVM可以理解为将A+λB变成CA+B（此处C可认为是1/λ的情况）就成了↓


Tips:SVM总能使假设函数决策边界与两种样本的距离最小

2.大间隔分类器

Tips:特殊情况：C十分大，θ₀=0，此时要满足cost函数尽量小，必须满足当y=1时θ^Tx⁽ⁱ⁾>=1，当y=0时θ^Tx⁽ⁱ⁾<=-1，此处的θ^Tx⁽ⁱ⁾可以由向量简化成p*||θ||，此处p为x特征对应的向量往θ特征对应的向量做投影的长度，则它为了使p*||θ||满足条件，如果p过小，则||θ||会变大，违背了min代价函数，此时则会变成p为最大的情况，此时得出的||θ||为最小满足需求，这也造成了它的大间隔特性

3.核函数

Tips:此时的f1，f2，f3的选择就是核函数的用处


Tips:相似函数，判断两个点的相似度，此中的l为自选的点，分子为两个点距离的平方，分母为相似度参数

Tips:假设已经求出了相应的θ，此时按照公式可求出当前h(x)哪些是>=0即满足要求的，由这些点的边界构成决策边界

Tips:其中f⁽ⁱ⁾_i必定又一个会遇到sim(x(i),l(i))

Tips:则SVM的代价函数可以化简为核函数+SVM的形式↑

4.方差偏差

Tips:此处的bias和variance仅仅是l和x的关系，并不是h(x)和y的关系，如果sigma很小的话，只有x和l很接近的时候才很大，其他时候都是0，landmark相当于是训练数据，过拟合的话，你的曲线必须非常接近landmark，就是过拟合了。

5.使用SVM

题目

1.Question 1

Suppose you have trained an SVM classifier with a Gaussian kernel, and it learned the following decision boundary on the training set:

解答：D

2.Question 2

解答：C

3.Question 3

解答：BC

4.Question 4

Suppose you have a dataset with n = 10 features and m = 5000 examples.

After training your logistic regression classifier with gradient descent, you find that it has underfit the training set and does not achieve the desired performance on the training or cross validation sets.

Which of the following might be promising steps to take? Check all that apply.

解答：CD

5.Question 5

Which of the following statements are true? Check all that apply.

解答：AD