李宏毅机器学习 | 第0-1讲 课程内容与机器学习概述

0x0 课程链接

https://www.bilibili.com/video/BV1Wv411h7kN?p=2&vd_source=88ef606d07b3752b74b418b30340b1ac

本门课主要讲解Deep Learning。

0x1 什么是机器学习

Machine Learning ≈ Looking for function

• Speech Recognition
  f(语音) = “hello world”
• Image Recognition
  f(图片) = cat
• Playing Go
  f(棋盘) = next move

0x2 课程安排

• Lecture 1 - 5：Supervised Learning
• Lecture 7：Self-supervised Learning：Pre-trained Model --> Downstream Tasks
• Lecture 6：Generative Adversarial Network
• Lecture 12：Reinforcement Learning
• Lecture 8：Anomaly Detection
• Lecture 9：Explainable AI
• Lecture 10：Model Attack
• Lecture 11：Domain Adaptation
• Lecture 13：Network Compression
• Lecture 14：Life-long learning
• Lecture 15：Meta learning --> few-shot learning

1x1 机器学习三大任务

• Regression 回归
• Classification 分类
• Structured Learning 创造（图片、document…）

1x2 机器如何寻找 function

频道后台数据 - f() -> 第二天的点阅率
如何找到f？

• 猜测 f with unknown parameters which is model
  （为什么能猜出来？需要domian knowledge）
• Define Loss
  另一个函数 L(bias，weight)：how good a set of values is
  输入是参数，输出表示参数是否好。
  根据训练数据来计算Loss，比如 Loss =1/N Σ|预测值 - 真实值|。
  Error Surface：对于不同的参数，得到一个等高线（深度）图
  
• Optimization(最优化)
  Gradient Descent：

1. pick an initial value
2. 计算梯度 --> hyperparameters超参数（学习率learning rate）
3. update w iteratively
   梯度下降有局部最优的问题，但不是最关键的问题

• prediction
  用训练好的模型预测
  利用domain knowledge修改模型

线性模型
linear models have severe limitation --> model bias
非线性模型
Piecewise Linear Curve
对于连续曲线可以用Piecewise Linear curve来逼近
也就是说可以用b + Σ ci sigmoid(bi +wix1) 来逼近任何函数
也就是 神经网络



优化L(θ)：


N = 10000，B = 10 --> 1 epoch update == 1000

Deep的意义是什么？