weixin_43487811的博客

原创 Task8

文本情感分类 文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。 它的一个子问题：使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析，并有着广泛的应用。 同搜索近义词和类比词一样，文本分类也属于词嵌入的下游应用。在本节中，我们将应用预训练的词向量和含多个隐藏层的双向循环神经网络与卷积神经网络，来判断一段不定长的文本序列中包含的是正面还是负面的情绪。 预处理数据...

原创 Task7

Momentum 目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。对于noisy gradient,需要谨慎的选取学习率和batch size, 来控制梯度方差和收敛...

原创 Task6

批量归一化（BatchNormalization） 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化（深度模型） 利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 1.对全连接层做批量归一化 位置：全连接层中的仿射变换和激活函数之间。 全连接： x=...

原创 机器翻译

原创 Task5

卷积神经网络 二维卷积层 常用于处理图像数据。 1.二维互相关运算 二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。图1展...

原创 Task3

关于模型选择、过拟合和欠拟合解决方案 区分训练误差和泛化误差 训练误差指模型在训练数据集上表现出的误差。 泛化误差指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 计算训练误差和泛化误差可以使用损失函数，例如线性回归用到的平 损失函数和softmax回归用到的交叉熵损失函数。 机器学习模型应关注降低泛化误差。 关于模型选择 验证集 测试集只能在所有超参数...

原创 Task2

文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型 用现有工具进行分词 前面介绍的分词方式非常简单，至少有以下几个缺点: 标点符号通常可以提供语义信息，但是我们的方法直接将其丢弃了 类似“shoul...

原创 Task1打卡

线性回归 基本要素 模型 y=ωx+b y=\omega x+b y=ωx+b 数据集 希望在数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set）.例如多栋房屋的真实售出价格和它们对应的面积和房龄,一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（lab...