自然语言处理
文章平均质量分 86
长命百岁️
这个作者很懒,什么都没留下…
展开
-
【UCAS自然语言处理作业二】训练FFN, RNN, Attention机制的语言模型,并计算测试集上的PPL
训练前馈神经网络,循环神经网络,注意力机制语言模型,并计算测试集PPL原创 2023-11-25 21:39:39 · 758 阅读 · 0 评论 -
【SIGIR-AP 2023】A Comparative Study of Training Objectives for Clarification Facet Generation
【SIGIR-AP 2023】AComparative Study of Training Objectives for Clarification Facet Generation原创 2023-10-20 19:43:08 · 251 阅读 · 0 评论 -
【论文阅读】检索增强发展历程及相关文章总结
检索增强相关文章总结:`Knn-LM`->`REALM`->`DPR`->`RAG`->`FID`->`COG`->`GenRead`->`REPLUG`->`Adaptive retrieval`原创 2023-09-19 11:32:13 · 811 阅读 · 3 评论 -
【论文阅读】Unified Multi-Dimensional Automatic Evaluation for Open-Domain Conversations with LLMs
该文章提出一种利用大模型对open-domain对话进行评估的方法。主要利用一个Prompt,来指示LLMs一次性输出相应的多个指标。原创 2023-07-19 17:13:10 · 333 阅读 · 0 评论 -
【论文阅读】一些多轮对话文章的体会 ACL 2023
本文是对昨天看到的ACL 2023三篇多轮对话文章的分享这三个工作都是根据一些额外属性控制输出的工作,且评估的方面比较相似,可以借鉴。原创 2023-07-18 17:49:52 · 1350 阅读 · 0 评论 -
【论文阅读】Scaling Laws for Neural Language Models
本文简要介绍的主要结论个人认为不需要特别关注公式内各种符号的具体数值,而更应该关注不同因素之间的关系,比例等。原创 2023-07-13 10:47:40 · 2848 阅读 · 0 评论 -
CS 224N总结
本文记录学习CS 224N时的一些疑惑与个人理解原创 2023-05-14 23:49:12 · 372 阅读 · 0 评论 -
BPE(Byte-Pair Encoding)简介
BPE简介原创 2023-02-20 16:40:05 · 3411 阅读 · 1 评论 -
常见的分词方法
常见的分词方法:word-based,character-based,subword-based tokenization原创 2023-02-19 23:34:05 · 315 阅读 · 0 评论 -
山东大学nlp实验--词向量
文章目录1.one-hot1.1基础知识介绍1.1.1sklearn.preprocessing.OneHotEncoder1.2.1.用法1.2.1.1.数值型整数1.2.1.2.字符串型数组1.2.1.3.handle_unknown1.2.1.4.反向transform1.2.实验情况1.3.缺点2.word2vec2.1.获取数据2.2.数据预处理2.3.模型训练(使用了所有的训练数据,2G+)2.3.1.添加 `log` 信息,方便观察程序的运行状态和输出2.3.2.模型训练2.3.2.1.Wor原创 2022-04-04 17:18:35 · 2055 阅读 · 0 评论 -
OneHotEncoder简单用法
sklearn.preprocessing.OneHotEncoderclass sklearn.preprocessing.OneHotEncoder(*, categories='auto', drop=None, sparse=True, dtype=<class 'numpy.float64'>, handle_unknown='error')handle_unknown{‘error’, ‘ignore’}, default=’error’ 在转换过程中遇到未知分类特征原创 2022-04-02 23:20:32 · 9034 阅读 · 1 评论 -
使用BERT + Bi-LSTM + CRF 实现命名实体识别
文章目录1.前言2.数据预处理2.1本地查看数据转换后的结果3.构建数据集4.数据集分割5.模型架构5.1模型初始化5.2前向传播过程6.模型训练6.1训练一个epoch6.2训练所有epoch6.3evaluate函数7.整体训练过程1.前言本文主要分析本次实验的代码,讲解主要流程和代码含义,而关注参数的选择和模型的选择后续可能还会更新 model 的原理如果有问题,欢迎评论或私聊讨论若分析过程出现错误,请及时指正,谢谢2.数据预处理原始标注:对句子中的每个字标注上一个标签,可以简单地原创 2022-03-26 23:59:52 · 14634 阅读 · 45 评论 -
山东大学nlp实验--CRF环境配置
前言按照实验指导中的方式配出来的环境,是跑不通代码的!!!python-3.6 + tensorflow=1.14 + keras=2.2.5亲测有效!!!缺点是可能不能启动gpu,即使下载的是tesorflow-gpu=1.14,因为和硬件可能不匹配按实验指导执行一遍pip install keras-preprocessing==1.0.9。这个版本的貌似找不到了,直接pip install keras-preprocessing就好了。unzip work/keras-contrib-m原创 2022-03-18 11:56:39 · 3576 阅读 · 5 评论 -
nlp--常用分词方法
前言本文以介绍 nlp 常见分词方法为目的,具体效果请大家自行辨别中文分词jieba代码jieba.enable_paddle() # 启动paddle模式。 0.40版之后开始支持,早期版本不支持 seg_list = jieba.cut(data, use_paddle=True) # 使用paddle模式 print("Paddle Mode: " + '/'.join(list(seg_list))) seg_list = jieba.cut(data,原创 2022-03-17 12:03:34 · 2091 阅读 · 0 评论 -
NLP中安装Spacy报错:Can‘t find model ‘en_core_web_sm‘
第一步pip install spacy第二步import spacynlp=spacy.load("en_core_web_sm")然后发现报错Can't find model 'en_core_web_sm'第三步可以通过一下命令来安装,但是很难成功python -m spacy download en_core_web_sm直接从github下载en_core_web_sm-3.0.0下载。也可以访问其github仓库下载其他版本。第四步安装pip in原创 2022-03-10 23:17:25 · 1398 阅读 · 3 评论 -
uni-gram与bi-gram语言模型
实验内容用python编程实践语言模型(uni-gram和bi-gram),加入平滑技术。计算test.txt中句子的PPL,对比uni-gram和bi-gram语言模型效果。遇到和解决的问题问题1问题:列表和字典作为实参传入函数时,在函数体内部改变形参,会导致实参也发生改变解决:一维列表传入使用list.copy(),二维字典传入使用copy.deepcopy(dict)详情可见:Python中实参随形参改变而改变的问题_长命百岁️的博客-CSDN博客。该博客编写于实验过程中,针对本问原创 2022-03-06 20:02:23 · 3286 阅读 · 9 评论