深度学习入门-第4章-神经网络的学习

学习就是从训练数据中自动获取最优权重参数的过程。引入损失函数这一指标，学习的目的是找出使损失函数达到最小的权重参数。使用函数斜率的梯度法来找这个最小值。

人工智能有两派，一派认为实现人工智能必须用逻辑和符号系统，自顶向下看问题；另一派认为通过仿造人脑可以达到人工智能，自底向上看问题。前一派是“想啥来啥”，后一派是“吃啥补啥”。前者偏唯心，后者偏唯物。两派一直是人工智能领域“两个阶级、两条路线”的斗争，这斗争有时还是你死我活。今天学习的是神经网络派。

4.1 从数据中学习

4.1.1 数据驱动

数据是机器学习的命根子。机器学习避免人为介入，通过数据发现模式。比如识别手写数字5，可以从图像中提取特征量，再用机器学习学习这些特征量的模式。其中图像转换为向量时使用的特征量仍由人设计，不同问题需要人工考虑不同的特征量。

神经网络（深度学习）称为端到端学习，图像中的特征量也由机器来学习。不管识别5还是识别狗，神经网络都是通过不断学习数据，尝试发现模式。

4.1.2 训练数据和测试数据

追求的模型泛化能力。训练数据也叫监督数据。一套数据集，无法获得正确的评价。要避免对某数据集的过拟合。

4.2 损失函数