mlp参数调整_0基础搞懂自动驾驶传统算法与深度学习的鸿沟-PID控制算法与MLP优化方法...

0基础搞懂自动驾驶传统算法与深度学习的鸿沟这个专题核心是要思考如何让rule-base的自动驾驶算法逐步提升为data-driven的算法，从而尽可能的提升软件的泛化性。数据驱动的逻辑代替控制，规划，定位，融合，感知以及替换整个自动驾驶系统是一个非常有趣的话题，欢迎关注！

控制理论的核心是通过对过去与现在的信息以及现在到未来的预测信息进行总结，得出现在的行为，所有自动驾驶算法追溯本质都是这么一句话。

这篇文章要达到的目的：
1.最通俗的理解PID算法和MLP的SGD优化算法的概念
2.最深刻的理解两者的本质关系
3.如何用深度学习的办法替代人工控制参数调整的办法（懒人大法）

通俗理解PID

做过控制的人，对PID这种百年常青的算法一定不陌生，也是自动驾驶控制常用的算法。

参考刚才说的本质，PID可以获得的输入信息就是某个东西的“偏差量”（比如这个东西希望到的位置和当前所在位置的偏差），PID输出的就是控制量，达到的目的就是希望控制某个东西在下一个周期又快又准的减小这个偏差。

PID的算法介绍，网上一抓一大把，但很多分析还是不太通俗，对理解不友好，简单理解PID，就是P关心现在，I关心过去，D关心未来，调整三个量的比例，意思就是你在做出下一步决定的时候更关心过去，现在，未来哪个方面的信息。这么说大家可能就可以理解了

比例控制（P）-阿喀琉斯追乌龟

P控制这种，现实中很难找到类似的人做比方，经典的故事就是阿喀琉斯追乌龟。现实中有这么做的不是机器人就是脑残。只是根据当前收到的信息就做了决定，不借鉴过去，不预测未来。##最大的问题就是存在“稳态误差”，也就是很快但永远调不准的意思，为什么会这样不多讲不是本文重点，大家查下就知道，由于没有实践意义，我不多赘述。##最大的优点，工程实践里他没有优点，就是个逼近快慢的问题。

比例积分控制（PI）- 线性思维下的普罗大众

PI控制这种和我们大部分人的思维很像，小摊贩卖豆腐前天赚了10元，昨天赚了10元，今天赚了10元，那明天应该也能赚10元（可第二天被抓了罚了5000），好把那4990亏的钱（预期和实际的偏差）在控制里就叫“超调”，不多做解释，##最大的问题也就是超调，意思当外部情况发生突变的时候，由于陷入过去的线性思维估计不充分，产生很大的偏差，原因很深刻“在不确定的世界里，不考虑未来，只知道过去和当下。##最大的优点：最终和我们普通人一样，他总是可以达到需要的目标（够准),但要付出一些波折的代价（震荡超调）

=======由于误发布，语句缺少组织，以下见谅============

比例积分控制（PD）- 爱八卦的职场新人

微分环节会提高系统抗扰动能力，降低系统抗噪声能力”

比例积分微分控制（PID）- 身经百战的少将

PID控制器简单易懂，使用中不需精确的系统模型等先决条件，因而成为应用最为广泛的控制器。PID控制器主要适用于基本上线性，且动态特性不随时间变化的系统，但是对复杂非线性系统和复杂信号追踪，还是有局限性的。Hinton 老先生在其发表在 Nature [1] 的文章里那样描述的，梯度是每个权值对总的损失函数贡献，其与损失函数为线性关系。

来源论文 CVPR 2018 Spotlight，A PID Controller Approach for Stochastic Optimization of Deep Networks.

SGD-Momentum 可以等效为 PI 控制器。而在控制理论中，PI 控制有超调的问题，SGD-Momentum 有超调问题