一、概述
机器学习其实相当于让机器找一个函数。机器学习可以应用:语音识别、图像处理、playGO...
深度学习是机器学习中的一个关键技术。深度学习是要找一个函数(类神经网络Neutral Network)。深度学习函数的输入可以是向量(vector)、矩阵(matrix)(一张图片就可以用一个矩阵表示)、序列(sequence)(一段声音信号、一段文字就是一段序列)。输出可以是数值(scalar)(输出是一个数值的任务叫做回归regression)、类别(这样的任务叫做分类classification)、一段话或者是图片。
![](https://i-blog.csdnimg.cn/blog_migrate/751c336a1710e5b718d7f2d9ee861d85.png)
supervisd learning需要每个任务都要收集大量的数据,于是在Self-supervised Learning里面,我们期待模型做到的事情是:在训练模型之前,先做到基本功(Pre-train)。在做好pre-train之后,就可以在新的任务上做的很好。让机器透过没有标注的图片(unlabeled images),学习一些基本的任务(比如说辨别两张相互翻转的图片是同一张,两张颜色不一样形状一样的图片是同一张)。进行图片分类的机器学习任务叫下游任务(Downstream Tasks)。当机器学会基本的任务之后(分类图片等),就会对下游任务有很好的结果。
![](https://i-blog.csdnimg.cn/blog_migrate/788bcd2f7cbbe54825ccb222b0adaa1a.png)
Pre-trained Model对于downstream tasks来说,就相当于os对于app的作用。在一个工程师为了开发新的app的时候,不需要处理底层任务。拥有好的pre-tained model就会在downstream tasks中有好的结果。downstream tasks还可以称为fundation model。在fundation model里面,最知名的一个是模型叫BERT(340M parameters,一个很大的模型,现在已经出现了很多比bert还大的模型了)。
Generative Adversarial Network可以实现,对于输入x输出y的函数,x和y是很庞大的一个数据集,而不需要x和y之间有成对的关系(unpaired),机器就可以自动找出他们的关系。代表的论文:(unsupervised ASR)
https://arxiv.org/abs/1804.00316
https://arxiv.org/abs/1812.09323
https://arxiv.org/abs/1904.04100
https://arxiv.org/abs/2105.11084
![](https://i-blog.csdnimg.cn/blog_migrate/0e6f3ce96d77c9f3169c7bdbdf05db20.png)
reinforcement learning(RL)可用于当不知道怎么标注资料的时候(比如说下围棋的时候不知道最好下棋子的位置在哪里)。
anomaly detection异常检测就是出现机器不可辨别的情况的时候,机器可以回应“不知道”。
explainable AI 可解释性AI需要机器在识别正确的情况下做出解释。
model attack模型攻击示例:将机器正确识别的图片增加杂讯(肉眼不可见),就会识别错误,这种情况是人类对机器识别的攻击。
![](https://i-blog.csdnimg.cn/blog_migrate/d2e0fef35f3f81e5ed98804fba708dde.png)
domain adaptation案例:训练数据是黑白的,测试数据也是黑白的,就会达到99.5%的准确度,而当测试数据是彩色的时候,准确度就会跌到57.5%。
![](https://i-blog.csdnimg.cn/blog_migrate/9265d62541f6cd8a0bd5ae3f2289dbac.png)
network compression可以进行模型压缩,以便模型可以运用智能手表、无人机等小型设备上。
life-long learning完美设想:每次给一点任务,就能变的很强,最后超级厉害。
meta learning让机器学习如何学习。(few-shot learning需要借助meta learning)
输出是数值的函数regression,输出只有两个可能(y/n)的函数binary classification,输出有多种的multi-calss classification。
二、linear models
来自model的限制叫做model bias,一条直线存在的model bias就是无法表示以下的红色折线,那么如何来表示这个红色折线呢?如下是piecewise linear curve(分段线性曲线)
![](https://i-blog.csdnimg.cn/blog_migrate/ca62bec8ccc1792699092baebc1af97c.png)
一段平滑的曲线可以由折线组成(只要点取的够多,折线就越接近曲线),也就是可以有无数个蓝色折线来标识这一条曲线。
![](https://i-blog.csdnimg.cn/blog_migrate/b1e80c967a424c4c29ffa8c9729795cf.png)
那么如何来表示上述的蓝色折线呢?蓝色折线可以由以下的虚线曲线表示。
![](https://i-blog.csdnimg.cn/blog_migrate/7090b16e55745fd93d39ff5f188cecd1.png)
sigmoid 函数的三个常量(c、b、w)修改之后,会对曲线产生影响。
![](https://i-blog.csdnimg.cn/blog_migrate/d388b875c4ca8091783562e0ffc7c838.png)
1、改写方程未知数
2、新模型优化
从图中可以看出,在不是2021(未知)数据的预测在变差,而对已知数据(2017-2020)的预测在变好。