神经网络从入门到精通（一）

往期文章推荐：
    脉冲神经网络资料汇总
   损失函数与代价函数
   神经网络从入门到精通（二）

---

【版权申明】未经博主同意，谢绝转载！（请尊重原创，博主保留追究权）；

本博客的内容来自于：神经网络从入门到精通（一）；

学习、合作与交流联系q384660495；

本博客的内容仅供学习与参考，并非营利；

---

一、导言

线性回归、逻辑回归和感知机主要是在三者在模型，策略（目标函数），算法（优化方法）上不一样。线性回归和感知机的策略都可以理解为误差点与超平面的距离，而逻辑回归的策略是最大似然估计的概率值，具体可以参考这篇文章线性回归、逻辑回归和感知机的区别

学习就是逐渐调整权值和阈值使得网络的实际输出和期望输出一致

以下为吴恩达的原话：

如果你想要获得较高的性能体现，那么你有两个条件要完成，第一个是你需要训练一个规模足够大的神经网络，以发挥数据规模量巨大的优点，另外你需要能画到𝑥轴的这个位置，所以你需要很多的数据。因此我们经常说规模一直在推动深度学习的进步，这里的规模指的也同时是神经网络的规模，我们需要一个带有许多隐藏单元的神经网络，也有许多的参数及关联性， 就如同需要大规模的数据一样。事实上如今最可靠的方法来在神经网络上获得更好的性能， 往往就是要么训练一个更大的神经网络，要么投入更多的数据，这只能在一定程度上起作用， 因为最终你耗尽了数据，或者最终你的网络是如此大规模导致将要用太久的时间去训练，但是仅仅提升规模的的确确地让我们在深度学习的世界中摸索了很多时间。

我的理解是，更高的性能需要训练一个