1 线型回归
预测气温、预测销售额、预测商品价格等
模型:权重,偏差
模型训练:feed 数据学习模型参数值,使得误差尽可能小
训练集、测试集、验证集、样本、标签、特征
损失函数:回归常用平方误差函数;
优化算法:小批量随机梯度下降(每次选一小批样本训练参数),每批样本大小叫做 batch size
学习率:正数
超参数:不是通过训练学出的,如学习率,批量大小
网络输出层只有一个神经元节点
全连接层:输出层中的神经元和输入层中各个输入完全连接
基本要素:模型、训练数据、损失函数和优化算法
2 softmax 回归
图像分类、垃圾邮件识别、交易诈骗识别、恶意软件识别等
softmax运算符将输出值变换成值为正,且和为1的概率分布
交叉熵损失函数:更适合衡量两个概率分布差异
softmax 回归是一个单层神经网络,输出个数等于类别个数
3 多层神经网络
激活函数:一种非线性函数
ReLU函数:只保留正数元素,负数元素清零
sigmoid函数:将元素值变换到0到1
tanh(双曲正切):元素值变换到-1到1
4 模型选择
模型在训练集上更准确时,不代表在测试集上就一定准确
训练误差:训练数据集上表现出的误差;泛化误差:模型在测试集上表现的误差期望
机器学习需要关注降低泛化误差
模型选择:评估若干候选模型的表现并从中选择模型
候选模型可以是有着不同超参数的同类模型
验证集:预留训练和测试集之外的数据;