更深入地认识逻辑回归&神经网络

一、逻辑回归

  • 逻辑回归的运算过程:01-wx+b;02-sigmoid函数

  • 逻辑回归没有分布假设

  • 逻辑回归的损失函数是cross entrypy,衡量两个分布的差异有多大。
    在这里插入图片描述

  • 逻辑回归可用于二分类或多分类问题,区别在于激活函数。二分类问题,其激活函数是sigmoid函数(多分类问题的激活函数用softmax函数)。
    softmax函数:
    在这里插入图片描述

二、逻辑回归与deep learning的联系

  • 逻辑回归的缺点:只能线性分类
    在这里插入图片描述

  • 解决只能线性分类的方法——特征提取:连续做多次逻辑回归,相当于多个NN神经网络(非线性转化),也就是连续多次wx+b后取sigmoid函数。所以神经网络的本质就是多层复合的函数。
    在这里插入图片描述

三、deep learning

(一)结构

在这里插入图片描述
在这里插入图片描述
注:全连接指的是,每个输入都与每个输出相连
在这里插入图片描述

  • deep=很多个hidden layer,相当于特征提取,替代了传统机器学习中的特征工程,所以deep learning中的重要工作是design neuron structure
  • 遵循以上逻辑,deeping learning适合没有那么容易提取特征的工程,如语音识别、影像处理。
  • 在设计网络结构的时候,可以不要全连接,可以乱序连接。

(二)前向传播与后向传播

前向传播就是一层一层往前走,后向传播是利用求导的链式结构,来更新权重。最终还是要前向走的。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值