李宏毅视频整理
第一节机器学习概述
1.机器学习任务
梯度下降local minma和global minma不是最大问题
复杂的函数是由多个函数相加而成,单个函数可以用激活函数(例如sigmoid)加上不同的参数w,b,c来生成,最后将单个函数相加得到总体函数,这种实现就是线性层(Linear)
该节疑问:问什么不把神经网络变宽而是把它变深?
反向传播
计算参数w对Loss的偏导等于w对该层输出的偏导乘以该层输出对Loss的偏导。
forward pass:
设当前层输出为z,z = wx+b,则w对于当前层的
原创
2021-07-11 22:16:56 ·
2451 阅读 ·
0 评论