- 博客(3)
- 收藏
- 关注
RSS订阅原创 conda文件路径更换后 快速配置环境
conda文件路径更换后 快速配置环境miniconda文件路径更改后，重新配置环境路径后还是报错-bash: /home/python/miniconda3/bin/conda: /usr/local/miniconda3/bin/python
2023-03-18 18:00:00
1072
1
原创 GLM 论文阅读
已经存在各种类型的预训练体系结构，包括自编码模型（例如BERT）、自回归模型（例如GPT）和编码器-解码器模型（例如T5）。然而，没有一个预训练框架在自然语言理解（NLU）、无条件生成和条件生成这三个主要类别的所有任务中表现最好。论文提出了一种基于自回归空白填充的通用语言模型（GLM，General Language Model）来应对这一挑战。GLM通过添加2D位置编码和允许任意顺序预测跨度来改进空白填充预训练，这导致在NLU任务上的性能优于BERT和T5。
2023-03-18 12:00:00
788
1
原创 CPM1模型
预训练语言模型(PLMs)已被证明对各种下游NLP任务是有益的。最近，拥有1750亿个参数和570Gb训练数据的GPT-3因其few-shot(甚至zero-shot)学习能力而备受关注。然而，由于GPT-3的训练语料库主要为英语，且参数尚未公开，因此应用GPT-3解决中文NLP任务仍然具有挑战性。北京智源人工智能研究院和清华大学发布了基于大规模中文训练数据的生成式预训练的中文预训练语言模型(CPM，Chinese Pre-trained Language Model )。
2023-03-08 11:50:14
1110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人