深度学习基本概念

层：一个数据处理模块，将一个或者多个输入张量转换为一个或者多个输入张量。
模型：层构成的有向无环图。
激活函数：为了得到更丰富的假设空间，充分利用多层表示的优势，需要添加非线性激活函数，relu等。
损失函数：即目标函数，在训练过程中需要将其最小化。用于衡量当前任务是否成功完成。对于二分类问题，可以使用二元交叉熵损失函数，对于多分类问题可以用分类交叉熵损失函数，对于回归问题可以用均方误差损失函数，对于序列学习问题可以用联结主义时序分类损失函数等。
优化器：决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降法（SGD）的某个变体。
训练集、验证集和测试集：在训练数据上训练模型，在验证数据上评估模型，一旦找到最佳参数，就在测试集上最后测试一下。
数据预处理：处理数据更适用于神经网络处理，包括向量化、标准化和处理缺失值。
特征工程：选择合适的特征向量表示模型数据。
过拟合与欠拟合：机器学习的根本问题是优化和泛化之间的对立。优化是指调节模型以在训练数据上得到最佳性能（即机器学习中的学习），而泛化是指训练好的模型在前所未有的数据上的性能好坏。优化和泛化是相关的：训练数据上的损失越小，测试数据上的损失也越小，这个时候是欠拟合，但随着迭代次数增加，泛化不再提高，验证指标先是不变，然后变差，即模型过拟合。降低过拟合的方法叫做正则化。
机器学习通用工作流程：：
1.定义问题，收集数据集；
2.选择衡量成功的指标，精度，准确率，召回率等；
3.确定评估方法，留出验证集，K折交叉验证，重复的k折验证等；
4.准备数据;
5.开发比基准更好的模型;
6.扩大模型规模：开发过拟合的模型；
7.模型正则化与调节超参数。