PyTorch入门：理解优化算法与神经网络的梯度下降
本文介绍了PyTorch学习者如何通过理解优化方法（如牛顿法、最小二乘法和梯度下降）来构建神经网络。重点讲解了误差方程、参数调整和局部最优解的概念，强调神经网络如何利用梯度下降找到优秀解。
Pytorch学习笔记
Pytorch初学者小白
b站视频：PyTorch 动态神经网络 (莫烦 Python 教学)
初学者总是见到这样的图像，这些图像涉及到了家族的历史——Optimization(优化问题)
优化能力是人类历史上的重大突破，它解决了很多实际生活中的问题，从而渐渐演化出了一个庞大的家族
比如说：
- 牛顿法(Newton’s method)
- 最小二乘法(Least Squares method)
- 梯度下降(Gradient Descent)
而我们神经网络就是在梯度下降的分支中
初学神经网络的时候 我们总会遇到误差方程（Cost Function）:
用来计算预测的值和实际上的值有多大差别
w:是我们神经网络中的参数
x,y都是我们的数据
找到梯度躺平的点，就是误差最小时的w
可是很多情况下误差曲线却是这样的，梯度躺平的点也不止只有一个
不同的w带来的位置，将会带来不同的下降去区域，不同的下降区域也会带来不同w的解。在这个图中w的全局最优解在原点处，其他的是局部最优解
神经网络可以使你的局部最优足够优秀，以至于出色地完成任务
扫一扫
到【灌水乐园】发言
