第一次周报

从本周开始学习李宏毅2022机器学习深度学习课程。本门课程一共分为十五个章节。

1-5：监督式学习 supervised learning

6：生成对抗网络 generative adversarial network

7：自我监督学习 self-supervised learning

8：异常检测 anomaly detection

9：可解释性AI explainable AI

10：模型的攻击 model attack

11：领域适应 domain adaptation

12：强化学习 reinforcement learning(RL)

13：模型压缩 network compression

14：终身学习 life-long learning

15：元学习 meta learning

在基本了解课程知识框架之后，对机器学习的基本概念进行一些简单的了解

机器学习就相当于寻找函数，那如何寻找函数成为了第一个问题。

寻找函数一共分为三个步骤：

第一步是具有未知参数的函数 funciton with unknown parameters

Model：y=b+wx1(y和x1是已知的，w和b是未知的)

x1：feature w：weight b：bias

第二步是定义训练数据的损失 define loss from training data

求loss：L（b,w）=           e=||或（）的平方，L被称为MAE或MSE

L越大，表示参数L(b，w)不好

第三步是最佳化 optimization        方法：梯度下降  cradient descent  

 分段函数

All Piecewise Linear Curves=constant +sum of a set of hard sigmoid

sigmoid function               即y=C sigmiod(b+wx1)

different w,change slopes  斜率

different b,shift 左右移动

different c,change height 高度

总：

a=sigmoid(r)   记作

那么线性代数的表示方式为

未知参数统称，求L（），*

 B：batch

1 epoch=see all the batches once

updata和epoch 概念不同

RELU：Rectified Linear Unit 

function式子：C max(0,b+wx1)

两个ReLU合成一个Hard Sigmoid

sigmoid 和 max 统称为 Activation function

Sigmoid：

ReLU：

Deep=Many hidden layers(层数)

Over fitting：Better on training data, worse on unseen data    过拟合