joycelyue-CSDN博客

原创【Word2Vec模型】

Word2Vec 是一种用于自然语言处理（NLP）的词嵌入技术，最早由 Google 在 2013 年提出。它通过将词汇表示为固定大小的向量，使得这些向量能够捕捉词汇之间的语义关系。Word2Vec 的主要目标是将词汇映射到一个高维向量空间，使得在这个空间中，具有相似语义的词汇距离较近。NNLM和Word2Vec网络架构一模一样（不考虑细节的话）" 我是最_的Joyce""帅”“帅”" 我是最_的Joyce”

2024-07-05 16:38:15 778

原创【Transformer(2)——预训练】

任务A、任务B极其相似，任务A已经训练出一个模型A，使用任务A的浅层参数去训练任务B，得到任务B。2、微调：浅层参数会跟着任务B训练而改变(常用）1、冻结：浅层参数不变。

2024-07-04 17:52:37 267 1

原创 Transformer(1)[Transformer 和 BERT]

Transformer是一种用于自然语言处理（NLP）和其他序列到序列任务的神经网络架构，由Vaswani等人在2017年的论文“Attention is All You Need”中提出。与传统的循环神经网络（RNN）和卷积神经网络（CNN）不同，Transformer完全依赖自注意力（self-attention）机制来处理输入和输出序列，从而克服了RNN在处理长序列时存在的一些问题，如梯度消失和梯度爆炸。

2024-07-04 17:32:36 1781

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 【Word2Vec模型】

原创 【Transformer(2)——预训练】

原创 Transformer(1)[Transformer 和 BERT]

空空如也

空空如也

原创【Word2Vec模型】

原创【Transformer(2)——预训练】