bug520iforever的博客

padding：让卷积后的特征图大小保持不变。将卷积到特征图比较小就展平，经过全连接。卷出来的loss和不为1怎么办？如何将卷积变成类别输出？

目的：给随机的w，b，求出真实的w，b。

Seq_ids：（512,768），句子长度大概都在512。Mask：（2,768），只有0,1两个维度。

一个回归项目包括：训练集，测试集和验证集（随机划分）训练集：训练模型验证集：验证模型。

通过同时考虑前后两个方向的特征，增强了模型的理解能力。在 Transformer 训练中，由于模型参数量巨大，普通的 Adam 在权重衰减（L2 正则化）上处理不合理，导致模型泛化能力变差。一句话需要经过分词器转化为Input ids下标，Mask考虑的长度（1有用，0没用），Seq_ids句子编码才能进入模型。指机器学习算法或模型对新鲜样本的适应能力，即模型在未见过的数据上也能表现良好的能力。，该模型已在大规模语料库上预训练，只需要在我们的酒店评论数据集上进行微调，就能快速得到高准确率的情感分类结果。