Orpheus2333的博客

本文根据datawhale 2023年9月的学习项目 简单学点大模型 做的笔记。本章主要介绍了大模型训练和推理时产生的碳排放对环境的影响，即碳排放成本。根据NVIDIA的统计分析结果，80%的ML工作负载是推理，而不是训练。碳排放量的计量单位为kgCO2eq，我们使用碳强度（Carbon intensity）这一指标来表示使用每千瓦时能源排放的碳量（kgCO2eq/kWh）。两种估算训练模型的碳排放量的算法。

MoE不同于一般的神经网络，通常最主要是由专家网络和门控网络所构成的。它根据数据进行分离训练多个模型，各个模型被称为专家。门控网络，就是指得到每个专家的权重的这个函数，用于选择使用哪个专家，模型的实际输出为各个模型的输出与门控模型的权限组合。各个专家模型可采用不同的函数（各种线性或非线性函数）。混合专家系统就是将多个模型整合到一个单独的任务中。

本文根据datawhale 2023年9月的学习项目 简单学点大模型 做的笔记。人工智能发展带来的法律和社会伦理相关的问题主要包括以下3个方面：大模型与知识产权、大模型与隐私、大模型的技术滥用。

本文根据datawhale 2023年9月的学习项目 简单学点大模型 做的笔记。本章学习大模型的数据。包括认识数据集、数据集构建和数据治理三部分内容。

1、语言模型是文本单元(token)序列的概率分布p语言模型(LM)的经典定义是一种对文本单元(token)的概率分布。在大型语言模型中,"token"是指文本中的一个最小单位。通常,一个token可以是一个单词、一个标点符号、一个数字、一个符号等。假设我们有一个文本单元的词汇表V。语言模型p为每个token序列分配一个概率(0~1)，就形成一个概率分布直观上，一个好的语言模型应具有语言能力和世界知识。假设给定词汇表{ate, ball, cheese, mouse, the}

ChatGPT是一个基于OpenAI的GPT（Generative Pre-trained Transformer）模型的变种，它是一个强大的自然语言处理（NLP）工具。GPT系列模型的主要特点是预训练和生成能力，能够根据输入的文本生成具有连贯性和合理性的输出文本。ChatGPT特别针对对话式应用进行了优化。它经过在大规模文本数据上进行预训练，并通过阅读大量的对话数据来学习对话风格和语言表达。因此，它可以用于许多自然语言处理任务，如对话生成、问答系统、文本摘要、语言翻译等。

6、“什么品牌的智能手机好用”和“现在什么牌子的智能手机好用，又便宜呀”的皮尔逊相关系数：0.95，标签相关性：1。6、“什么品牌的智能手机好用”和“现在什么牌子的智能手机好用，又便宜呀”的相似度：0.84，标签相关性：1。2、“在淘宝去哪里充值好”和“在淘宝里怎么买火车票，哪里有”的皮尔逊相关系数：0.84，标签相关性：1。”和“七夕单身的人怎么过？2、“在淘宝去哪里充值好”和“在淘宝里怎么买火车票，哪里有”的相似度：0.54，标签相关性：0。”和“七夕一个人怎么过”的相似度：0.95，标签相关性：1。

使用markdown格式生成表格，表头2列：第1列是空列，F1、Recall 一共3行，每一行第1列是class+id，按照id从高到低排序（class2、class1、class0）。第2列是对应的f1-score值，第3列是recall值。输入表格，表头 ：precision、recall、f1-score、support。

最终，在使用思维链推理的提示下，ChatGPT正确推理出王小蒙和谢永强的情侣关系。如果人名B是人名A的父亲，且人名A是男性，则输出：人名A - 父子 - 人名B。如果人名C是人名A的母亲，且人名A是男性，则输出：人名A - 母子 - 人名C。如果人名A和人名B是夫妻，则输出：人名A - 夫妻 - 人名B。如果人名A和人名B是兄弟，则输出：人名A - 兄弟 - 人名B。如果人名A是人名B的妹妹，则输出：人名A - 兄妹 - 人名B。请根据以下文本，抽取人名和人名之间的关系。识别文本中与香秀相关的人名和关系。

食物：山药、豌豆、胡萝卜、葱姜末、小米椒碎、盐、鸡精 时间：几分钟、两分钟 动作：去皮洗净、切成小丁、用水浸泡、豌豆剥好、冲洗干净、胡萝卜去皮洗净、切成小丁、葱姜末准备好、小米椒碎准备好、加水，煮开、放入少许盐、倒入豌豆、煮几分钟，至豌豆断生、煮好后捞出沥干水分、另起锅加油、烧热后倒入姜末、小米椒碎爆锅、再倒入胡萝卜、山药翻炒、炒两分钟、最后倒入豌豆翻炒均匀、再加入盐、鸡精、葱末翻炒几下、出锅。豌豆剥好，冲洗干净。最后倒入豌豆翻炒均匀，再加入盐、鸡精、葱末翻炒几下，就可以出锅了，很好吃下饭香，快尝尝吧。

{"review":"足足等了將近一個半小時，飯也基本不太熱了，因為網上付款了所以吃飯就不退送餐費，所以你們就任意遲到，我說的有錯嗎", "label":"0"}{"review":"送餐的师傅，服务质量太差，送过来都已经坨了", "label":"0"}{"review":"辣，饭冷啦，都两三小时才送来慢", "label":"0"}{"review":"还行，就是速度好慢，一个多小时", "label":"1"}{"review":"卷饼味道真的很一般", "label":"0"}

输出格式：第一行，文件中的缺失值总数量。3、编写prompt让ChatGPT输出Pandas代码来统计affairs列在yrs_married下的分布并绘制柱状图。基于上面读入的文件结果，编写Pandas代码，统计affairs列在yrs_married下的分布并绘制柱状图。基于上面读入的文件结果，编写Pandas代码，来绘制age列和yrs_married列的散点图。基于上面读入的文件结果，编写Pandas代码，统计affairs列的分布并绘制饼图。1、输出Pandas代码来统计每列缺失值。

写一个能识别单词末尾为标点符号的正则表达式。=[a-zA-Z]|\s|$): 这是一个非捕获组，匹配字母字符（大小写）或空白字符（\s）或字符串结尾（$）的条件。

直观来讲，机器要找出输入E和输出T之间的函数关系，就需要确定参数，最简单的就是f(x)=ax+b中的a和b，GPT3模型有1750亿个a和b，就是通过transformer模型中的不同层Trm的迭代变换计算确定的。从数学或从机器学习的角度来看，语言模型是对词语序列的概率相关性分布的建模，即利用已经说过的语句（语句可以视为数学中的向量）作为输入条件，预测下一个时刻不同语句甚至语言集合出现的概率分布。由于chatGPT更强的性能和海量参数，它包含了更多的主题的数据，能够处理更多小众主题。

views.py# 指定查询集（用到的数据）# 指定查询集用到的序列化容器# 对创建的对象进行序列化，并作为响应返回return Response("hello 你调用了自定义函数latest")@action是 Django REST framework 中的一个装饰器，用于将自定义函数转换为视图集的一个动作。@action。

产品分类序列化器# 指定需要序列化的表# 指定需要序列化的字段，all表示所有模型字段都将被序列化# 产品序列化器# 外键字段相关的数据，需要单独序列化# 指定需要序列化的表# 指定需要序列化的字段，all表示所有模型字段都将被序列化# 序列化单个字段# 序列化多个字段# 序列化所有字段views.py# 从请求数据中提取字段# 使用create()方法创建新的商品对象# 对创建的对象进行序列化，并作为响应返回urls.py。

本文是根据 datawhale 开源科研论文配图绘制指南 做的笔记第一章内容 科研论文绘制基础和配色基础。

本文是根据 datawhale 开源 Django后端开发入门 做的笔记Task03：QuerySet和Instance、APIView。

本文是根据 datawhale 开源 Django后端开发入门 做的笔记Task02：Admin管理员、外键的使用。