神经网络(二)—— 神经元、Logistic回归模型

本系列为慕课网《深度学习之神经网络(CNN/RNN/GAN)算法原理+实战》视频笔记,希望自己能通过分享笔记的形式更好的掌握该部分内容。
往期回顾:
神经网络(一)—— 机器学习、深度学习简介

神经网络

  • 神经元:神经网络的最小结构
  • Logistic回归模型:在深度学习出现之前最赚钱的算法
  • 神经网络训练:调参使得神经网络表现好
神经元——最小的神经网络

fig1. 神经元基本结构图
上图为神经元的基本结构图。可以看到,神经元有多个输入,一个输出。将输入进行加权求和,通过一个函数 h h h得到最后的输出。具体的公式如下:
h W , b ( x ) = f ( W T x ) = f ( Σ i = 1 3 W i x i + b ) h_{W,b}(x)=f(W^Tx)=f(\Sigma^3_{i=1}W_ix_i+b) hW,b(x)=f(WTx)=f(Σi=13Wixi+b)
其中, W W W是权重, f f f是激活函数, x x x是特征, b b b是偏置(可类比截距)。

Example:

X = [ 3 , 1 , 2 ] X=[3,1,2] X=[3,1,2] W = [ 0.4 , 0.6 , 0.5 ] W=[0.4,0.6,0.5] W=[0.4,0.6,0.5] H ( a ) = a / 10 H(a)=a/10 H(a)=a/10
then W ∗ X = 3 ∗ 0.4 + 1 ∗ 0.6 + 2 ∗ 0.5 = 2.8 W*X=3*0.4+1*0.6+2*0.5=2.8 WX=30.4+10.6+20.5=2.8 and H ( W ∗ X ) = H ( 2.8 ) = 0.28 H(W*X)=H(2.8)=0.28 H(WX)=H(2.8)=0.28.

Logistic回归模型

将神经元的激活函数设为sigmoid函数,则这个神经元就是一个二分类Logistic回归模型。
sigmoid函数表达式:
f ( x ) = 1 1 + e − x f(x)=\frac{1}{1+e^{-x}} f(x)=1+ex1
fig2. sigmoid函数
我们可以看到,sigmoid函数有几个性质:(1)sigmoid函数的取之范围在0-1之间;(2)sigmoid函数是一个对称函数,对称点在 ( 0 , 0.5 ) (0,0.5) (0,0.5);(3)在 [ − 6 , 6 ] [-6,6] [6,6]之间曲线比较陡。
而概率也是在0-1之间。所以我们可以定义,在二分类的情况下,
P ( Y = 0 ∣ x ) = h w ( x ) = 1 1 + e − w T x P(Y=0|x)=h_w(x)=\frac{1}{1+e^{-w^Tx}} P(Y=0x)=hw(x)=1+ewTx1
P ( Y = 0 ∣ x ) = 1 − h w ( x ) = e − w T x 1 + e − w T x P(Y=0|x)=1-h_w(x)=\frac{e^{-w^Tx}}{1+e^{-w^Tx}} P(Y=0x)=1hw(x)=1+ewTxewTx

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值