- 博客(4)
- 收藏
- 关注
原创 批量归一化、残差网络
批量归一化(BatchNormalization)对输入的标准化(浅层模型)处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化(深度模型)利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置:全连接层中的仿射变换和激活函数之间。2.对卷积层做...
2020-02-24 11:38:16
228
原创 task 过拟合欠拟合
训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数,例如线性回归用到的平方损失函数和softmax回归用到的交叉熵...
2020-02-18 09:44:27
93
原创 task 02 文本处理 语言模型 神经网络基础
语言模型一段自然语言文本可以看作是一个离散时间序列,给定一个长度为T的词的序列W1…WT,语言模型的目标就是评估该序列是否合理,即计算该序列的概率:n元语法循环神经网络循环神经网络的构造...
2020-02-14 18:34:43
115
原创 task 01 线性回归 softmax 多层感知机
线性回归的基本要素模型输出与各个输入之间是线性关系,以房价为例:数据集在机器学习术语里,该数据集被称为训练数据集(training data set)或训练集(training set),一栋房屋被称为一个样本(sample),其真实售出价格叫作标签(label),用来预测标签的两个因素叫作特征(feature)。特征用来表征样本的特点。损失函数在模型训练中,我们需要衡量预测值与真实...
2020-02-13 11:12:31
194
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人