后深度学习的挑战与思考（PRCV 焦李成 报告记录）

这是11月9号PRCV会议上 焦李成 大佬的报告，感受很多，特此记录

行万里路，没看什么书，永远是个邮差；
桥千层网，不注重原理，永远是个码农。

以下是报告目录：

人工智能与深度学习

大数据时代，对于数据代表问题的机理，我们应该了解的是它的物理、生物的机理，而不是深度学习中简单的调参和trick。

深度学习的发展：
特征工程----特征搜索----表征学习

卷积的概念是从信号处理来的，是简单的滤波器的实现，其数学表达和物理概念都很明确，所以卷积网络率先得到了应用。

残差网络最开始面对的便是梯度弥散的问题，网络应该如何训练？ 何凯明等人引入 恒等快捷连接 来解决。

深度学习的一个高维的非线性逼近的问题，和传统不一样的是，这个问题的误差可以用用神经网络的结构来表征，可以用BP来缩小。这便是通过学习和优化以获得更好结果的过程。

目前深度学习的瓶颈：

学习过程： 表示，学习，泛化。






![在这里插入图片描述](https://img-blog.csdnimg.cn/20191109155115236.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4NTU4Mw==,size_16,colo
5G与人工智能的必然结合。



以前的目标是： 检测，识别，分割，分类。
新目标：解意，学习，利用。

不能一直局限于像，而要探索其中的意，不能只是眼睛看到的东西，而没有脑子思考和解意的，要看图说话。

认知建模

你神经了吗？你神经元了吗？你提现他的深度机理了吗？

自动学习

完结撒花！！！
一不注意就变成PPT总结了，，，可能是大佬PPT做的太好了。

没有 prior 的模型，必将到达性能的上限。