李宏毅深度学习笔记2 - 第一讲 深度学习简介

本文探讨了如何通过增加复杂性,如使用sigmoid函数、ReLU替代和多层神经网络,将基础线性模型升级为深度学习模型。重点介绍了参数调整、梯度下降中的批量处理(batch)和epochs的概念,以及这些技术在逼近未知函数中的作用。
摘要由CSDN通过智能技术生成

线性模型太简单,需要设计更复杂的模型

任何一个分段线性曲线都可以用常数加上特殊的函数表示

当分割的片段足够多就可以表示连续的曲线


用sigmoid函数来逼近

调整参数可以获得不同形状的sigmoid函数,就可以近似预测函数


因此新的模型由简单的线性模型变成了更多参数的函数

用图形来理解  


未知函数的更复杂,模型更新为


实际在做梯度下降时,会把很多的数据分成很多的小数据集(batch),只用一个batch算loss 

每一次更新参数叫做update,把所有的batch都用过一遍叫做1epoch


可以用relu来代替sigmoid,两个relu可以组成sigmiod


有很多层的神经网络是深度学习


  • 10
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值