Course introduction
RNN——>输入是一个句子,输出是pos or neg
CNN——>输入是图片,输出是从n个选项里选择一个正确的
Seq2seq:翻译(产生文句)(generation)
GAN:画二次元人物头像(generation)
Unsupervised Learning
Network Architecture——>给机器一个搜寻的范围,告诉机器只要在这个范围内找就可以了(RNN+CNN)
Explainable AI——>解释,为什么认为图片里是一只猫
Adversarial Attack——>人类怀着恶意攻击影相辨识系统,会发生什么事情
Network Compression——>硕大的network,放在更小的平台上
Anomaly Detection——>机器如何知道它不知道,动物影像辨识系统放了一个植物进来有什么变化
Transfer Learning——>训练集测试集分布不一样怎么办?
Meta Learning——> 学习如何学习的能力
Life-long Learning——>终身学习
Reinforcement Learning——强化学习
监督学习——已知围棋的下一步将会走到哪里
强化学习——不需要告诉机器每一步应该落子的位置,让机器自己想办法找出策略,赢得比赛
alpha go——>先是通过监督
Rule of ML
Regression Case Study
Loss function——input是function(在线性模型中就是w和b)
——output是how bad it is
模型太复杂,出现过拟合
不同物种模型不同
为什么我们期待一个参数值接近0的function?
参数值接近0的function是比较平滑的,对delta(xi)的变化(noise)不敏感
在做regularization的时候是不用考虑bias这一项的,因为调整bias这一项和function是否平滑是无关的
lambda越大,越考虑function中w本来的数值,减少考虑error,traindata上的error就越大
lambda越大,function越平滑
太平滑的function,是一条水平线,所以太平滑也不好