- 博客(2)
- 收藏
- 关注
RSS订阅原创 大语言模型入门之Transformer
现在的很多大语言模型通常是基于Transformer架构，这篇用于介绍Transformer架构。由于之前是学三维重建的，也学习过了Transformer，网上也有很多transformer的详细介绍，这里主要是做个回顾。一、Transformer模型的出现，极大地推动了NLP领域的发展。它不仅在机器翻译任务上取得了显著的成果，还被广泛应用于文本生成、文本摘要、语音识别、图像识别等多个领域。许多知名的预训练语言模型，如BERT、GPT和T5等，都是基于Transformer架构构建的。
2024-07-10 23:35:07
670
原创 如何用Python调用智谱AI的API
智谱AI大模型以GLM（General Language Model）系列为核心，由清华大学、北京智源人工智能研究院等顶尖机构联合研发。这些模型通过自回归填空任务进行预训练，并采用Transformer架构，能够在各种自然语言理解和生成任务上进行微调，展现出强大的语言处理能力。其中，GLM-130B是智谱AI在2022年开源的一个重要模型，它基于GLM的进一步开发，在归一化、激活函数、掩码机制等方面进行了优化，成为高精度千亿规模的中英双语语言模型。
2024-07-06 11:01:06
639
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人