NLP
文章平均质量分 63
python实现NLP
dognoline
这个作者很懒,什么都没留下…
展开
-
ACL2023长论文:对话系统相关论文汇总【1】
这系列论文在对话系统领域涉及多个关键主题。其中,Prompter以动态前缀适应零样本对话状态跟踪,显著优于先前方法。另外,采用双语模型的DAMP在全球市场上展现出强大的多语言性能。视频对话理解方面,VSTAR数据集推动了对话与场景、主题的深度理解。最后,结合对比潜变量的个性化对话生成模型CLV,有效整合了稀疏与密集人物描述,提升了个性化生成的质量。这些研究推动了对话系统在各个方面的创新和性能提升。原创 2023-11-07 15:05:43 · 1106 阅读 · 2 评论 -
【数据集处理】读取.pkl文件,转换为csv
.pkl文件转.csv文件原创 2022-04-19 15:19:14 · 4702 阅读 · 2 评论 -
Transformer使用RobertaTokenizer时解决TypeError: not NoneType
用roberta时下载bert相同的四个文件会报错TypeError。在使用bert-base-uncased时,只需要下载四个。使用roberta-large时,要多下载一个merges.txt原创 2022-07-06 14:22:51 · 2193 阅读 · 7 评论 -
在MELD数据集上利用BERT得到句向量表示
用BERT作特征编码器,提取MELD的话语特征原创 2022-06-01 12:45:47 · 713 阅读 · 3 评论 -
解决Transformers ‘BertTokenizer‘ object is not callable
原因:transformer版本太低,低于3.0.0不能直接使用# tokenizer = BertTokenizer.from_pretrained(model_path)tokenizer(raw_input, **kwargs)直接卸载低版本transformers,安装大于3.0.0版本pip install transformers==3.4.0原创 2022-05-09 11:04:54 · 4092 阅读 · 0 评论 -
torchcrf的简单使用
一个熟悉CRF在多分类任务中使用的代码,torchcrf中损失函数,负对数似然函数的简单使用理解原创 2022-06-30 16:00:51 · 8195 阅读 · 0 评论 -
Pytorch实现Bert/RoBerta微调(以MELD数据集为例)
本文记录我在学习BERT/ROBERTAfine-tuning过程的遇到的问题,包括内存受限,微调概念,微调方法等。文章方法不适用于逐层微调,且只以NLP文本分类举例,微调代码参考。原创 2022-07-17 15:19:47 · 5600 阅读 · 2 评论 -
python添加新列到txt文件中并将txt转换为csv文件
原始txt文件中行ID通过空行区分。现在我们将这个txt文件添加新的一列含ID信息,并将txt文件转换为含有表头的csv文件。原创 2022-08-22 17:32:07 · 1291 阅读 · 0 评论