深度学习概论

什么是神经网络

图 1Housing price prediction

上述神经网络是有四个输入的神经网络，输入的特征是房屋大小、卧室数量、邮政编码和周围的富裕程度。已知这些输入特征，神经网络的工作就是预测对应的价格。图中蓝色的圆圈，在一个神经网络中，它们被叫做“隐藏单元”，每个输入都同时来自四个特征，神经网络自己决定这个特征是什么，我们只给其四个输入特征，随便其怎么计算。值得注意的是，只要给神经网络足够的x、y训练样本，神经网络非常擅长于计算从x到y的精准映射函数。

什么是监督学习

在监督学习中，输入x，习得一个函数，映射到输出y。比如上述应用于房价预测的例子，输入房屋的一些特征，就能输出预测价格。

为什么深度学习会兴起

图 2 规模推动深度学习发展

数据规模不大时，各种算法之间的优劣很难衡量，最终的性能更多取决于手工设计组件的技能。

由于传统的机器学习模型无法处理海量的数据，数据规模过大后，它们的性能变进入了瓶颈期。与20年前相比，现在收集海量数据轻而易举。很多应用领域中，我们收集的数据量远超传统机器学习算法所能发挥作用的规模。神经网络则不然。

规模越大的神经网络性能便越好。若要达到这么高的性能水平有两个条件，第一是需要训练一个规模足够大的神经网络，以发挥数据规模量巨大的优点；第二需要大量的数据。所以，规模一直在推动深度学习的发展。