Ⅵ机器学习

Ⅵ机器学习（Machine Learning-Andred NG）

监督学习

监督式学习（Supervised learning），是一个机器学习中的方法，可以由训练资料中学到或建立一个模式（ learning model），并依此模式推测新的实例。

• 分类
• 回归问题（regression problem）

非监督学习

无监督式学习(Unsupervised Learning )是人工智能网络的一种算法(algorithm)，其目的是去对原始资料进行分类，以便了解资料内部结构。有别于监督式学习网络，无监督式学习网络在学习时并不知道其分类结果是否正确，亦即没有受到监督式增强(告诉它何种学习是正确的)。其特点是仅对此种网络提供输入范例，而它会自动从这些范例中找出其潜在类别规则。当学习完毕并经测试后，也可以将之应用到新的案例上。

• 聚类
  （监督学习与非监督学习 - 小草莓的博客 - CSDN博客）详细可见

详细笔记网站吴恩达机器学习课程笔记——第一周 - u012790625的博客 - CSDN博客

6-1 classification

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-K37dM0QB-1572183217118)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\09ba25a7.png)]
对于分类问题很少使用线性回归（liner regression）-》此时便引出了logistic regression
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LrKpcFZf-1572183217120)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\c1a9a30a.png)]
在逻辑回归的推导中，它假设样本服从伯努利分布（0-1分布），然后求得满足该分布的似然函数，接着取对数求极值等等。而逻辑回归并没有求似然函数的极值，而是把极大化当做是一种思想，进而推导出它的经验风险函数为：最小化负的似然函数（即max F(y, f(x)) —-> min -F(y, f(x)))。

6-2 Hypothesis representation

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7lOnbqr3-1572183217134)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\927cf2fd.png)]
Sigmoid function == logistic function
（将h（x）的范围控制在0~1
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QdgfJRYt-1572183217136)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\691c0b31.png)]
接下来是对h（x）的解释（包括书写方式的介绍）；对于h(x)=P(y=1|x;theta),对于给定的x，theta值，我们可以确定输出值概率。

6-3 decision boundary

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jX7wPe41-1572183217144)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\062ead80.png)]
简单地函数范围确定
Suppose predict “y =1” if h(x) >= 0.5
owing to Sigmoid function ,
x = 0 -->transpose of x * thate >0
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZxgUPY2b-1572183217149)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\f2ab3cd1.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pUPNKkJX-1572183217150)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\6a88d1a7.png)]
决策边界 将不同类别的得样本分开以示区别 。我们用训练集拟合参数theta，通过theta确定决策边界

6-4 Cost function and simplified

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kEAwKsu7-1572183217153)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\b1109b10.png)]
我们希望我们的Cost function是一个非凸函数（convex-function），这样我们才能通过梯度下降找到最小值j(theta),因此我们使用对数回归损失函数(logistic regression cost function)
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LrirsYTl-1572183217156)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\c421b08f.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Lmv3RBB4-1572183217159)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\3b0620cc.png)]
并通过数学方式简化之前的对数回归损失函数

6-6 advanced optimizition

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hzof557C-1572183217165)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\9814def9.png)]
conjugate gradient – 共轭梯度法
BFGS – 变尺度法
L-BFGS – 限制变尺度法
现阶段还不需要了解这些优化方法的数字公式，不需要自己去写一些计算矩阵平方根的代码，我们现在只需要去学习如何在库中调用这些方法就好

####6-7 Multiclass Classification
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ekRe9JeV-1572183217167)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\bd5b54fb.png)]
将多个元素分类器转化为两个元素的分类 最后再将单个的结果汇总。训练好分类器之后，在进行预测。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NgPqZvbr-1572183217172)(:storage\3811ba44-8cee-4f1e-b069-622f3fead18c\893308f7.png)]