- logistic回归
- 反向传播
反向传播
这应该是神经网络里面最难的部分了吧~~为此除了CS231n的课,还结合了Coursera上Ng的deeplearning课程
logistic 回归
想直接看反向传播的视频的,但发现Ng的符号使用不太一样,所以先从头看点~顺便重新理解了一下logistic回归,貌似又有了新的感觉~就记录下来吧
1. 符号表示:
input: x.shape=Rnx x . s h a p e = R n x 样本特征是以列的形式放置的
m training example { (x(1),y(1)),(x(2),y(2)),..,(x(n),y(n))} { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , . . , ( x ( n ) , y ( n ) ) }
X∈Rnx∗m X ∈ R n x ∗ m ,so X.shape=(nx,m) X . s h a p e = ( n x , m )
label: y∈{ 0,1} y ∈ { 0 , 1 } ,so y.shape=(1,m) y . s h a p e = ( 1 , m )
2. forward
我们需要将计算得到的输出与真实标签y进行对比,即 ŷ =P(y=1|x) y ^ = P ( y = 1 | x )
parameters: W∈Rn