从本周开始学习李宏毅2022机器学习深度学习课程。本门课程一共分为十五个章节。
1-5:监督式学习 supervised learning
6:生成对抗网络 generative adversarial network
7:自我监督学习 self-supervised learning
8:异常检测 anomaly detection
9:可解释性AI explainable AI
10:模型的攻击 model attack
11:领域适应 domain adaptation
12:强化学习 reinforcement learning(RL)
13:模型压缩 network compression
14:终身学习 life-long learning
15:元学习 meta learning
在基本了解课程知识框架之后,对机器学习的基本概念进行一些简单的了解
机器学习就相当于寻找函数,那如何寻找函数成为了第一个问题。
寻找函数一共分为三个步骤:
第一步是具有未知参数的函数 funciton with unknown parameters
Model:y=b+wx1(y和x1是已知的,w和b是未知的)
x1:feature w:weight b:bias
第二步是定义训练数据的损失 define loss from training data
求loss:L(b,w)= e=|
|或(
)的平方,L被称为MAE或MSE
L越大,表示参数L(b,w)不好
第三步是最佳化 optimization 方法:梯度下降 cradient descent
分段函数
All Piecewise Linear Curves=constant +sum of a set of hard sigmoid
sigmoid function 即y=C sigmiod(b+wx1)
different w,change slopes 斜率
different b,shift 左右移动
different c,change height 高度
总:
a=sigmoid(r) 记作
那么线性代数的表示方式为
未知参数统称,求L(
),
*
B:batch
1 epoch=see all the batches once
updata和epoch 概念不同
RELU:Rectified Linear Unit
function式子:C max(0,b+wx1)
两个ReLU合成一个Hard Sigmoid
sigmoid 和 max 统称为 Activation function
Sigmoid:
ReLU:
Deep=Many hidden layers(层数)
Over fitting:Better on training data, worse on unseen data 过拟合