大模型理论基础初步学习笔记——第十二章 大模型的环境影响 本章探讨大型语言模型的环境影响，特别关注温室气体排放及其对气候变化的贡献。大模型对环境有一定的影响，但是在人类的总的排放中占比很小，比如谷歌使用了约12.2t千瓦时（4个最大模型的训练占比不到0.005%），相当于比特币挖矿支出的1/10；比如全球数据中心在2018年使用了2050亿千瓦时电力（总电力使用的1%）。
大模型理论基础初步学习笔记——第七章 大模型之Adaptation "大模型之Adaptation"是在大型预训练模型（如BERT、GPT等）上进行微调或适应，以适应特定任务或领域的过程。本文讲述了其的多种方法。
大模型理论基础初步学习笔记——第五章 大模型的数据 一个平台，可以进行数据交易，能一定程度上保证数据隐私与数据贩卖的利益，可以让资本不再为所欲为的买卖使用数据；另外可以方便管理，方便数据立法等。比如中国大模型语料数据联盟等。该提案旨在解决数据共享利益管理的问题。通过建立严格监管的数据联盟，它试图为参与数字经济的个体提供更有力的议价地位，以保护隐私、控制信息使用和分享利润。通过引入民主成员控制、相互间的索赔机制以及数据关系委员会的裁决，该框架旨在确保适应不断变化的技术环境。希望这一步骤有助于推动朝着更公平的数字经济方向迈进。
大模型理论基础初步学习笔记——第三四章 危害，与模型架构 为了扩大模型规模，需要改进稠密Transformer。混合专家和基于检索的方法相结合更有效。如何设计更好的、可扩展的体系结构仍然是一个悬而未决的问题。
关注
