Basics of Neural Network Programming(第一周)

1.1 二分类 Binary Classification

前向暂停 forward pause:前向传播 forward propagation 

反向暂停 backward pause:反向传播 backward propagation

2.2 逻辑回归 logistics regression

 假设函数 Hypothesis Function :\widehat{y}=^{W^{T}}x+b,z=^{W^{T}}x+b

sigmoid函数:\sigma \left ( z \right )=\frac{1}{1+e^{-z}} 

逻辑回归的输入函数:\widehat{y}=\sigma \left ( W^{T}x+b \right )

逻辑回归中用到的损失函数是:L\left (\widehat{y},y\right )=-ylog(\widehat{y})-(1-y)log(1-\widehat{y})

当y=1时,\widehat{y}变大。当y等于0时,\widehat{y}变小。

代价函数Cost Function:对m个样本的损失函数求和除以m。

2.3 梯度下降法 Gradient Descent

w:=w-a\frac{\partial J(w,b)}{\partial w}

b:=b-a\frac{\partial J(w,b)}{\partial b}

:=表示更新参数,a表示学习率。

2.4 逻辑回归中的梯度下降 Logistic Regression Gradient Descent

z=w_{1}x_{1}+w_{2}x_{2}+b

L\left (a,y\right )=-(ylog(a)+(1-y)log(1-a))

\frac{dL(a,y)}{da}=-y/a+(1-y)/(1-a)

\frac{da}{dz}=a\cdot (1-a)

\frac{dL(a,y)}{dz}=\frac{dL}{dz}=(\frac{dL}{da})\cdot (\frac{da}{dz})=a-y

\frac{dL(a,y)}{dw_{1}}=x_{1}\cdot (a-y)      \frac{dL(a,y)}{dw_{2}}=x_{2}\cdot (a-y)           \frac{dL(a,y)}{db}=a-y

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值