《自然语言处理:基于预训练模型的方法》读书笔记
文章平均质量分 89
自然语言处理
非文的NLP修炼笔记
研究生在读,NLP小白一枚,希望大家多多指教~
展开
-
《自然语言处理:基于预训练模型的方法》读书笔记:第4章 自然语言处理中的神经网络基础
第4章 自然语言处理中的神经网络基础4.1 多层感知器模型4.1.1 感知器感知器这部分内容属于机器学习基础内容,在此就不赘述。很多现实生活中遇到的问题都可以使用感知器模型加以解决,比如识别一个用户评论句子的情感极性是褒义还是贬义等,在自然语言处理中,这些问题又被归为文本分类问题。4.1.2 线性回归在情感分析中,如果目标不是预测文本的情感极性,而是一个情感强弱的分数,如电商或影评网站中用户对商品或电影的评分等,则是一个回归问题。线性回归是最简单的回归模型。4.1.3原创 2022-04-30 08:44:59 · 425 阅读 · 0 评论 -
《自然语言处理:基于预训练模型的方法》读书笔记:第3章 基础工具集与常用数据集
目录第3章 基础工具集与常用数据集3.1 NLTK工具集3.1.1 常用语料库和词典资源3.1.2 常用自然语言处理工具集3.2 LTP工具集3.2.1 中文分词3.2.2 其他中文自然语言处理功能3.3 PyTorch基础3.3.1 张量的基本概念3.2.2 张量的基本运算3.3.3 自动微分3.3.4 调整张量形状3.3.5 广播机制3.3.6 索引与切片3.3.7 降维与升维3.4 大规模预训练数据3.4.1 维基百科数据3.4.原创 2022-04-28 22:52:10 · 666 阅读 · 0 评论 -
《自然语言处理:基于预训练模型的方法》读书笔记:第2章 自然语言处理基础
第2章 自然语言处理基础2.1 文本的表示字符串是文本最自然,也是最常用的机内存储形式。所谓字符串,即字符序列,而其中的一个字符本质上就是一个整数。基于字符串的文本表示方式可以实现简单的字符串增删改查等编辑任务,并能够通过编辑距离等算法计算两个字符串之间的字面相似度。基于规则的方法存在很多问题。首先,规则的归纳依赖专家的经验,需要花费大量的人力、物力和财力;其次,规则的表达能力有限,很多语言现象无法用简单的规则描述;最后,随着规则的增多,规则之间可能存在矛盾和冲突的情况,导致最终无法做出决策。原创 2022-04-27 16:08:54 · 1490 阅读 · 0 评论 -
《自然语言处理:基于预训练模型的方法》读书笔记:第1章 绪论
自然语言处理的目标是使得机器具有和人类一样的语言理解和运用能力。在过去的十年里,自然语言处理经历了两次里程碑式的重要发展。第一次是深度学习的勃兴,使得传统的特征工程方法被摒弃,而基于深度神经网络的表示学习迅速成为自然语言处理的主流。第二次则是2018年以来大规模预训练语言模型的应用,开启了基于“预训练+精调”的新一代自然语言处理范式。每一次的发展都为自然语言处理系统的能力带来了巨大进步。与此同时,这些令人欣喜的发展也带给我们很多关于语言智能的更本质的思考。自然语言是人类思维的载体和交流的基本工具,也是人原创 2022-04-25 20:50:45 · 1670 阅读 · 0 评论