本文探讨了线性回归的基本概念，如何通过加权和计算输出，并进一步介绍了神经网络的起始构建过程。重点讲解了平方损失函数和梯度下降算法的应用，包括学习率选择、批量梯度下降与小批量随机梯度下降的区别，以及优化策略在深度学习中的实践。
1、线性回归
2、线性模型
输入：给定n维输入，乘以n维权重和一个标量偏差
输出：加权和
3、开始神经网络
4、补充：平方损失：
5、总结：
显示解：显示解就是可以用数学方法算出来的表达式解
6、对没有显示解的时候就要运用梯度下降的算法
不断更新W0使其更对的接近最优解
右上为二次函数等高图（每个圈是函数值等于固定值的曲线）
补：一个数的正梯度是其上升最快的方向，反之负梯度是其下降最快的方向
7、学习率的选择（不能太小也不能太大）
8、一般不会直接使用梯度下降，深度学习中最常用的是：小批量随机梯度下降
求一次梯度相当于将整个函数再重新算一遍（太贵了，计算代价太大了）
9、选择批量大小也不能太大或者太小
10、总结
200
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
