深度学习基本概念
1 线性模型----> sophisticated mode
piecewise linear —> sigmoid function
根据不同的w、b、c
不同的sigmoid函数做加法组合成想要的linear function
新的模型组成过程
举例表示激活函数的组成形式
简写为a=σ(r)
总结
公式为：
y
=
b
+
c
T
σ
(
b
+
W
x
)
y = b + \mathbf{c}^\mathrm{T} σ(\boldsymbol{b}+ W\boldsymbol{x})
y=b+cTσ(b+Wx)
Back to ML Framework
step 2: Loss
- Loss is a function of parameters L(θ)
- Loss means how good a set of values is.
Optimization of New Model
batch size自己决定
Sigmoid —> ReLU
公式为：
y
=
b
+
∑
i
c
i
s
i
g
m
o
i
d
(
b
i
+
∑
j
w
i
j
x
j
)
y= b + \sum_{i}c_{i} sigmoid(b_{i}+\sum_{j}w_{ij}x_{j})
y=b+i∑cisigmoid(bi+j∑wijxj)
y
=
b
+
∑
2
i
c
i
m
a
x
(
0
,
b
i
+
∑
j
w
i
j
x
j
)
y= b + \sum_{2i}c_{i} max(0,b_{i}+\sum_{j}w_{ij}x_{j})
y=b+2i∑cimax(0,bi+j∑wijxj)两个ReLU才能合成一个Sigmoid函数，所以是2i
Back to ML Framework
Deep learning的由来
6753
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
