自然语言处理
文章平均质量分 86
AndrewPerfect
Deep Learn ING...
展开
-
大模型/NLP/算法2——transformer流程//多头//clip//对比学习//对比学习损失函数
对比学习(Contrastive Learning)是一种机器学习方法,特别是在无监督学习和自监督学习中广泛应用。其核心思想是通过比较不同样本之间的相似性和差异性来学习数据的表示或特征。这种方法不依赖于标签数据,而是通过样本之间的相互关系,使得模型能够学习到有意义的特征表示。原创 2024-07-09 22:38:00 · 939 阅读 · 0 评论 -
大模型/NLP/算法4——bert参数量计算
BERT的总参数量可以大致通过加总上述各个组件的参数量来估算。但请注意,具体的参数量还会受到模型配置(如隐藏层大小。原创 2024-07-09 22:13:55 · 659 阅读 · 0 评论 -
大模型/NLP/算法3——BERT和T5的区别?
BERT专注于编码任务,擅长理解文本上下文,适用于文本分类、NER、问答等需要文本表示的任务。T5:采用文本到文本的统一框架,适用于多任务学习和文本生成任务,具有很强的灵活性和扩展性。原创 2024-07-09 21:46:24 · 510 阅读 · 0 评论 -
大模型/NLP/算法1——大语言模型有哪些//泛化能力
由OpenAI开发,具有1750亿个参数,是迄今为止最强大的自然语言处理模型之一。GPT-3能够生成连贯的文本,涵盖多种文体,如诗歌、小说、新闻报道、代码等。然而,它也存在潜在的偏见和不确定性问题。GPT-3的出现为大型语言模型的发展奠定了基础。(即将发布):据称将比GPT-3更加强大和通用,有望在自然语言处理、机器学习等多个领域展现出更加出色的表现。但截至当前时间(2024年7月8日),GPT-4的具体细节和性能尚未公布。原创 2024-07-09 20:50:53 · 1047 阅读 · 0 评论