NLP
关注
分享
扫一扫
文章平均质量分 94
NLP自学
DueFireTop
废物跨考研究生自救指南
展开
-
【NLP】2.3 语言模型任务评估
在实践中，我们不使用原始概率作为我们评估语言模型的度量标准，而是使用一种叫做**困惑度（perplexity, PPL）**的变量。测试集上的语言模型的PPL是测试集上的【[逆反概率](# 逆反概率)】，由单词的数量归一化。对于一个测试集Ww1w2...wNPPLWPw1w2...wN−N1NPw1w2...wN1Ni1∏NPwi∣w1i−11。原创 2023-06-24 11:09:26 · 761 阅读 · 0 评论 -
【NLP】2.2 神经语言模型简介
输入向量。原创 2023-06-23 16:29:47 · 223 阅读 · 0 评论 -
【NLP】2.1 统计语言模型
语言模型任务是给句子一个。原创 2023-06-17 20:08:09 · 284 阅读 · 0 评论 -
【NLP】1. 处理自然语言数据
词典多长，向量就有多长，计算量巨大（通常词典都是10000+）太稀疏，一句话10个词的话，至少向量里面有9990个0（冗余，无意义）语义鸿沟（相似度？语义相似性？深层次特征？），没办法了解这个词到底表示什么意义，对计算机而言就只是个标识而已，标识和标识之间没有关系。稠密编码（特征嵌入）原创 2023-06-14 16:50:20 · 147 阅读 · 0 评论