- 博客(6)
- 收藏
- 关注
RSS订阅原创 GPT-1论文笔记
该篇文章主要针对于论文《Improving Language Understanding by Generative Pre-Training》中所涉及的一些专业名词做解释。这篇文章篇幅较短，因为这篇文章的很多知识点在上一篇bert文章中已经被大量涉及。
2024-09-14 10:43:48
205
原创 bert原始论文笔记
概念:是指在预训练模型的基础上，针对特定的下游任务进行进一步训练的过程。微调是 BERT 这种预训练模型应用于具体任务的关键步骤。在 BERT 中，微调意味着基于预训练模型的基础，再根据具体的任务对模型进行小规模的训练和调整，以便在该任务上获得最好的效果。微调的过程1) 预训练：BERT 模型首先在大量无标注的文本数据上进行预训练，学习语言的通用表示。这一阶段的目标是通过任务（如掩码语言模型和下一句预测）让模型理解语言的结构和语义，预训练就是用于参数初始化BERT模型。2）微调。
2024-09-13 11:30:21
603
原创 Attention Is All You Need笔记
是一类在自然语言处理和序列转换任务序列转换任务是指将一个符号序列转换为另一个符号序列的任务。例如在机器翻译中，把一种语言的文本序列转换为另一种语言的文本序列；在文本摘要生成中，将较长的文本序列转换为较短的摘要文本序列。）中使用的模型架构，其主要基于编码器 - 解码器的配置，利用复杂的递归神经网络（RNN）或卷积神经网络（CNN）。传统的显性序列转导模型基于 RNN 或 CNN 的架构存在一些局限性，比如RNN 存在顺序计算的约束，影响计算效率；CNN 在处理远距离位置的依赖关系时可能存在困难。而。
2024-09-12 09:34:50
443
原创 数据挖掘中相关性的度量
相关性度量通常指特征与特征之间的相关性(也可以用于特征和目标变量之间相关性的计算)，在数据挖掘中某些特征是算作冗余信息(如：同时拥有出生日期和年龄时，年龄算是冗余信息)，在训练模型前去除冗余信息可以可以加快模型训练速度，同时也能一定程度上缓解过拟合问题。。
2024-09-06 16:36:02
413
原创 解决load(“en_core_web_sm“)not found问题
解压后将en_core_web_sm-3.5.0文件夹中的en_core_web_sm中的en_core_web_sm-3.5.0文件夹放在你所需的位子(一般是python.exe所在文件夹的位子)model_path = "D:\python_work\en_core_web_sm-3.5.0"(D:\python_work就是我python.exe所在路径，并且这里是本地导入)(也许会出现警告，原因是该en_core_web_sm的模块的版本和spacy版本不匹配)
2024-09-02 20:38:30
214
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人