01.01 线性分类
k-近邻
超参数
d1(l1,l2)=∑i|lp1−lp2|
d
1
(
l
1
,
l
2
)
=
∑
i
|
l
1
p
−
l
2
p
|
d2(l1,l2)=∑i|lp1−lp2|−−−−−−−−−√
d
2
(
l
1
,
l
2
)
=
∑
i
|
l
1
p
−
l
2
p
|
01.02 得分函数
f(x,W)=Wx+b
f
(
x
,
W
)
=
W
x
+
b
f(xi,W,b)=Wxi+b
f
(
x
i
,
W
,
b
)
=
W
x
i
+
b
W权重,向量
x数据(像素),向量
01.03 损失函数
svm损失函数
Li=∑j≠yimax(0,sj−syi+1)
L
i
=
∑
j
≠
y
i
max
(
0
,
s
j
−
s
y
i
+
1
)
1 ⇒ δ δ
线性函数: f(x,W)=Wx f ( x , W ) = W x
损失函数01
L=1N∑i=0N∑j≠imax(0,f(xi;W)j−f(xi;W)yi+1)
L
=
1
N
∑
i
=
0
N
∑
j
≠
i
max
(
0
,
f
(
x
i
;
W
)
j
−
f
(
x
i
;
W
)
y
i
+
1
)
损失函数02(加上正则化惩罚项)
L=1N∑i=0N∑j≠imax(0,f(xi;W)j−f(xi;W)yi+1)+λR(W)
L
=
1
N
∑
i
=
0
N
∑
j
≠
i
max
(
0
,
f
(
x
i
;
W
)
j
−
f
(
x
i
;
W
)
y
i
+
1
)
+
λ
R
(
W
)
L2正则化
R(W)=∑k∑lWk2,l
R
(
W
)
=
∑
k
∑
l
W
2
,
l
k
X=[1,1,1,1]
X
=
[
1
,
1
,
1
,
1
]
w1=[1,0,0,0]
w
1
=
[
1
,
0
,
0
,
0
]
w2=[0.25,0.25,0.25,0.25]
w
2
=
[
0.25
,
0.25
,
0.25
,
0.25
]
WT1x=WT2x=1
W
1
T
x
=
W
2
T
x
=
1
随时函数终极版(数据loss+权重loss)
L=1N∑Ni=0∑j≠i[max(0,f(xi;W)j−f(xi;W)yi+1)]+λ∑k∑iW2k,i
L
=
1
N
∑
i
=
0
N
∑
j
≠
i
[
max
(
0
,
f
(
x
i
;
W
)
j
−
f
(
x
i
;
W
)
y
i
+
1
)
]
+
λ
∑
k
∑
i
W
k
,
i
2
01.04 softmax分类器
softmax输出一个概率值
sigmoid函数: g(z)=11+e−z g ( z ) = 1 1 + e − z
g(z) ==>{0,1}
损失函数(交叉熵函数)softmax
fj(z)=ezj∑kezk
f
j
(
z
)
=
e
z
j
∑
k
e
z
k
Li=−log(esyi∑jesj)
L
i
=
−
log
(
e
s
y
i
∑
j
e
s
j
)
01.05 最优化问题
跟随梯度:
df(x)dx=limh→0f(x+h)−f(x)h
d
f
(
x
)
d
x
=
lim
h
→
0
f
(
x
+
h
)
−
f
(
x
)
h
学习率、梯度下降
01.06 反向传播
f=Wx
f
=
W
x
Li=∑j≠yimax(0,sj−syi+1)
L
i
=
∑
j
≠
y
i
max
(
0
,
s
j
−
s
y
i
+
1
)
f(x,y,z)=(x+y)z
f
(
x
,
y
,
z
)
=
(
x
+
y
)
z
q=x+y
q
=
x
+
y
∂q∂x
∂
q
∂
x
f(w,x)=11+e−(w0x0+w1x1+w2)
f
(
w
,
x
)
=
1
1
+
e
−
(
w
0
x
0
+
w
1
x
1
+
w
2
)
σ(x)=11+e−x
σ
(
x
)
=
1
1
+
e
−
x
dσ(x)dx=e−x(1+e−x)2=(1+e−x−11+e−x)(11+e−x)=(1−σ(x))σ(x)
d
σ
(
x
)
d
x
=
e
−
x
(
1
+
e
−
x
)
2
=
(
1
+
e
−
x
−
1
1
+
e
−
x
)
(
1
1
+
e
−
x
)
=
(
1
−
σ
(
x
)
)
σ
(
x
)
加法门单元:均等分配
max门单元:取最大值
乘法门单元:交换
02.01 神经网络
f(x)=Wx
f
(
x
)
=
W
x
Li=∑j≠yimax(0,sj−syi+1)
L
i
=
∑
j
≠
y
i
max
(
0
,
s
j
−
s
y
i
+
1
)
layer {神经元}
innerProduct 全链接,内积
A层一个神经元i和 B层全部神经元的一组连接,需要一组权重参数
Wi
W
i
A层有n个神经元,A==>B,就有n组权重参数
Wn
W
n
激活函数(非线性单元、非线性表达)
线性函数:
f=Wx
f
=
W
x
非线性函数:
f=W2max(0,W1x)
f
=
W
2
max
(
0
,
W
1
x
)
单层神经网络
f=W3max(0,W2max(0,W1x))
f
=
W
3
max
(
0
,
W
2
max
(
0
,
W
1
x
)
)
双层神经网络
激活函数Sigmoid:
σ(x)=11+e−x
σ
(
x
)
=
1
1
+
e
−
x
Sigmoid会发生梯度消失,不是以0为中心。
激活函数TanH:存在梯度消失
tanh(x)=sinhxcoshx=ex−e−xex+e−x
tanh
(
x
)
=
sinh
x
cosh
x
=
e
x
−
e
−
x
e
x
+
e
−
x
激活函数ReLU: ReLU(x)=max(0,x) R e L U ( x ) = max ( 0 , x ) (大值增强,<=0忽略)
数据预处理
权重初始化
drop-out: 60%
03.01卷积神经网络
输入大小为:W1 x H1 x D1
需要指定的超参数:filter个数(K),filter大小(F),步长(S),边界填充(P)
输出:
W2=(W1−F+2P)/S+1
W
2
=
(
W
1
−
F
+
2
P
)
/
S
+
1
H2=(H1−F+2P)/S+1
H
2
=
(
H
1
−
F
+
2
P
)
/
S
+
1
D2=K
D
2
=
K