深度学习是什么?通俗地讲,它就是一个端到端的学习,我们不需要一些feature engineering,而是用一个非常复杂的、容量很大的模型去直接拟合输入输出,让模型自己探索有意义的中间表达。
什么是增强学习?通俗地讲,就是学习机器不断地跟环境做自主的互动,在互动的过程中用长远的收益来指导当下该做什么决策,通过不断的跟环境互动去调整决策的最优性。
基于巨大的数据和巨大的运算量训练出的拥有巨大容量的模型,所以它们的成功离不开硬件系统,这也是为什么现在GPU这么火,包括云计算、多机协作已经成了我们必不可少的环节。
-----------------技术层面的问题-----------------------
1. 第一件事,现今的人工智能技术,尤其是以深度学习为代表的,需要大量的标注数据 =====>对偶学习
2. 第二个挑战是关于模型大小以及模型训练难度的问题:深度神经网络多层、参数大,至少有两个困难:1)梯度消减和梯度爆炸,当深层网络有非常多层次的时候,输出层和标签之间运算出来的残差或者是损失函数,是很难有效地传递到底层去的。所以在用这种反向传播训练的时候,底层的网络参数通常不太容易被很有效的训练,表现不好。解决技巧:加skip-level connection,ResNet技术==>原来的这个问题本身是必要的吗? =====>精深学习(light learning),light RNN
3. 模型爆炸:模型本身的存储量非常大,远超一个GPU卡的容量,就一定要做分布式的运算和模型并行==>到底需不需要这么大的模型,有没有必要我们非要把自己放在一个内存也不够用,计算时间也非常长,也不能忍受的境地呢,这个是值得思考的问题。=====>并行学习、泰勒展开
4. 调参黑科技:深度学习实验室,论文结果不能重现,只知模型,不知参数=====>自主学习,增强学习进行调参
5. 黑箱算法:可解释性不够。故最近几年有一个趋势,就是把基于统计学习的方法和基于符号计算的方法进行结合,造出一个灰盒子,既具备很强的学习能力,又能在很大程度上是可理解、可支配、可调整的。=====>符号学习
-----------------方法论和哲学的问题-----------------------=====>超人类学习
1. 蛮力解法,舍本逐末:用表达能力很强、容量很大的网络来拟合数据表象,并没有挖掘本质规律,很可能的情况是表象是复杂的,但是本质的规律是简单的(像量子力学有薛定谔方程、量子化学、流体力学、生物遗传学、经济学、社会学也都有类似的简单方程)。是否单纯的聚焦于系统本身,能获得更简单的解答。
2. 动物智能,南辕北辙:现在人工智能所能实现的都是动物能够做的看看图,听听声音等。人与动物的区别,好的老师能教出好的学生,教学相长,薪火相传。