大模型理论基础初步学习笔记
文章平均质量分 89
对于大模型理论的初步学习,更加偏向于理论总结。参考学习了cs324和datawhale的讲义。本专栏GitHub地址:https://github.com/panda-like-bamboo/Study-CS324
熊猫代跑得快
这个作者很懒,什么都没留下…
展开
-
大模型理论基础初步学习笔记——第十一章 大模型的法律
本文讲述了大模型会遇见的法律问题,并进行了举例。原创 2024-01-29 18:31:34 · 840 阅读 · 0 评论 -
大模型理论基础初步学习笔记——第六章 模型训练篇
假设。原创 2024-01-24 00:40:02 · 1463 阅读 · 0 评论 -
大模型理论基础初步学习笔记——第七章 大模型之Adaptation
"大模型之Adaptation"是在大型预训练模型(如BERT、GPT等)上进行微调或适应,以适应特定任务或领域的过程。本文讲述了其的多种方法。原创 2024-01-25 22:21:00 · 2305 阅读 · 0 评论 -
大模型理论基础初步学习笔记——第二章 大模型的能力
大模型理论初步学习笔记,github https://github.com/panda-like-bamboo/Study-CS324原创 2024-01-16 22:31:28 · 517 阅读 · 0 评论 -
大模型理论基础初步学习笔记——第三四章 危害,与模型架构
为了扩大模型规模,需要改进稠密Transformer。混合专家和基于检索的方法相结合更有效。如何设计更好的、可扩展的体系结构仍然是一个悬而未决的问题。原创 2024-01-21 00:39:32 · 1345 阅读 · 0 评论 -
大模型理论基础初步学习笔记——第一章 引言
大模型理论基础初步学习笔记,本章为第一章引言部分原创 2024-01-16 01:06:29 · 1033 阅读 · 1 评论 -
大模型理论基础初步学习笔记——第五章 大模型的数据
一个平台,可以进行数据交易,能一定程度上保证数据隐私与数据贩卖的利益,可以让资本不再为所欲为的买卖使用数据;另外可以方便管理,方便数据立法等。比如中国大模型语料数据联盟等。该提案旨在解决数据共享利益管理的问题。通过建立严格监管的数据联盟,它试图为参与数字经济的个体提供更有力的议价地位,以保护隐私、控制信息使用和分享利润。通过引入民主成员控制、相互间的索赔机制以及数据关系委员会的裁决,该框架旨在确保适应不断变化的技术环境。希望这一步骤有助于推动朝着更公平的数字经济方向迈进。原创 2024-01-21 22:55:40 · 779 阅读 · 0 评论 -
大模型理论基础初步学习笔记——第十二章 大模型的环境影响
本章探讨大型语言模型的环境影响,特别关注温室气体排放及其对气候变化的贡献。大模型对环境有一定的影响,但是在人类的总的排放中占比很小,比如谷歌使用了约12.2t千瓦时(4个最大模型的训练占比不到0.005%),相当于比特币挖矿支出的1/10;比如全球数据中心在2018年使用了2050亿千瓦时电力(总电力使用的1%)。原创 2024-01-30 13:09:27 · 1094 阅读 · 1 评论 -
大模型理论基础初步学习笔记——第九,十章 大模型的危害
本文讲述了大模型中的危害,以及一些应对措施。原创 2024-01-28 01:34:33 · 901 阅读 · 0 评论 -
大模型理论基础初步学习笔记——第八章 分布式训练
大模型为什么使用分布式训练,以及分布式训练的种类原创 2024-01-26 15:30:53 · 925 阅读 · 1 评论