NLP
文章平均质量分 79
自然语言处理NLP任务的学习与总结
zz_Lambda
不积硅步,无以至千里。
展开
-
【文本生成评价指标】文本生成客观评价指标总结py
这篇博客是对来自betheme.net网站的一篇博客的整理和扩充。检查了其中代码是否可用,链接是否真实,并对错误代码修改。部分代码已在博主博客中实现,并附传送链接。原创 2023-03-26 09:48:58 · 1039 阅读 · 0 评论 -
【文本生成评价指标】 BLEU原理及代码示例py
使用 sentence_bleu 函数计算生成文本和参考文本之间的 Bleu 指标,比较候选译文和参考译文里的 n-gram 的重合程度。附python代码。原创 2023-03-25 17:30:29 · 2471 阅读 · 1 评论 -
【文本生成评价指标】 ROUGE原理及代码示例py
代码演示了如何使用 Python 中的 rouge 库来计算生成文本和参考文本之间的 ROUGE 指标,以评估文本生成算法的质量。原创 2023-03-25 16:46:42 · 2942 阅读 · 1 评论 -
【文本生成评价指标】 METEOR原理及代码示例py
代码使用 meteor_score 函数计算生成文本和参考文本之间的 METEOR 指标,以评估文本生成算法的质量。原创 2023-03-25 15:44:29 · 2207 阅读 · 4 评论 -
【文本生成评价指标】 DISTINCT原理及代码示例py
定义了一个名为 calculate_diversity() 的函数,演示了如何使用 Python 来计算字符串的多样性指数,用于评估文本生成算法的质量。原创 2023-03-25 15:31:04 · 1201 阅读 · 1 评论 -
Hugging face 模型微调学习:T5-base的微调
Hugging face 在 github上开源了一个Transformers库,允许用户上传和下载的预训练的模型,并进行原有模型的基础上进行微调。如此,使得每个 NLPer 必须依靠大量美金才能训练出来的预训练模型,可以轻易的在huggingface网站对自己的数据集上进行微调,并达到很好的效果。这篇文章介绍了自己在探索Hugging face 模型微调的操作过程,希望能帮助到大家。原创 2023-02-24 16:31:57 · 7300 阅读 · 10 评论 -
【IE】信息抽取任务简述
信息抽取任务(IE)简述原创 2022-12-23 10:10:57 · 1022 阅读 · 0 评论 -
Keras网络模型可视化方法
Keras网络模型可视化讲述了Keras模型可视化安装包步骤过程以及展示了Keras模型可视化代码实例。原创 2022-04-23 10:06:36 · 988 阅读 · 0 评论 -
NLP数据集整理(更新中)
NLP数据集整理中英文NLP数据集搜索平台,点击搜索一、情感分析ID标题更新日期数据集提供者说明关键字类别备注1weibo_senti_100k无无带情感标注新浪微博,正负向评论约各 5 万条微博、情感二分类任务无2Weibo Emotion Corpus2016The Hong Kong Polytechnic University微博语料,标注了7类 emotions: like, disgust, happiness, sadness,原创 2022-04-20 10:44:14 · 1717 阅读 · 0 评论 -
Bert模型学习之句向量的简单应用
Bert模型学习之预训练模型的简单应用上文讲到,让自己的机器可以同时安装两个版本的python3.x,下面我们就可以正式运行Bert模型。一、框架安装1.首先切换到版本3.6的文件夹下2.安装bert-as-server 框架pip3 install bert-serving-server #serverpip3 install bert-serving-client #client完成如下:3.中文预训练模型下载Google下载地址:https://storage.goog原创 2022-03-16 11:17:22 · 2796 阅读 · 4 评论 -
Bert模型学习之环境配置(二)
Bert模型学习之环境配置(二)一、Python双版本的安装与环境配置1、下载地址:Download Python。首先提醒大家,tensorflow只能安装在 3.5-3.7版本的64位python上,切记。下载Python3.5版本,如Python 2.5.4:2.pip3报错:ModuleNotFoundError: No module named ‘pip._vendor.urllib3’(1)删除pip文件夹:进入python下pip的安装目录,比如这里我的目录是:“D:\python原创 2022-03-16 10:16:36 · 3149 阅读 · 0 评论 -
Bert模型学习之环境配置(一)
Bert模型学习之环境配置(一)毕业论文写到结尾,着手增加数据量,结果翻车,模型变的不靠谱(实际模型它太不健壮了)。一开始选择用word2vec结合tfidf加权模型求句向量,但是数据量稍微增大就会报错;改用word2vec求平均句向量,正确率掉到了0.47。心态崩了。目前,论文的指导老师推荐了bert模型,也是现在比较流行的,网上说效果比较好。现在正在安装环境,踩坑多多,希望记录一下,快快的更新吧。说明:我的毕业论文是中文分类任务,这篇博客目标是用bert模型计算句向量。思路1:首先想到在自己的电原创 2022-03-15 19:17:38 · 4144 阅读 · 1 评论