- 博客(75)
- 收藏
- 关注
RSS订阅原创 StoryDiffusion：保持角色一致，可生成多图漫画
保持角色一致，生成多图漫画和长视频。该工具通过实现 Consistent self-attention 和 Motion predictor，能够生成连贯的图像和视频。用户可以提供文本提示来生成角色连贯的图像序列，同时也能实现长视频生成，预测不同条件图像之间的运动，实现更大幅度的运动预测。StoryDiffusion 的应用范围广泛，可用于漫画生成、图像转视频等多种场景。通过 Consistent self-attention 机制生成的图像，可以顺利过渡为视频，实现两阶段长视频生成方法。
2024-07-18 20:46:18
511
1
原创 深度学习500问：期望、方差、协方差、相关系数的概念
通过分享最新AI工具、AI资源等，帮助更多人了解使用AI，提升工作和学习效率。这里有海量AI工具整合包、AI学习资料、AI免费课程和AI咨询服务，AI之路不迷路，2024我们一起变强。在概率论和统计学中，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。【深度学习500问——AI工程师面试宝典(博文视点出品)，谈继勇 主编，郭子钊，李剑，佃松宜 副主编 著】进行整理。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。方差是一种特殊的协方差。1）独立变量的协方差为0。
2024-07-01 17:48:19
828
原创 深度学习500问 - 特征值和特征向量
这里有海量AI工具整合包、AI学习资料、AI免费课程和AI咨询服务，AI之路不迷路，2024我们一起变强。是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。【深度学习500问——AI工程师面试宝典(博文视点出品)，谈继勇 主编，郭子钊，李剑，佃松宜 副主编 著】进行整理。的特征向量组成的矩阵，
2024-07-01 17:43:04
1069
原创 深度学习500问 - 导数和偏导数
导数(derivative)代表了在自变量变化趋于无穷小的时候，函数值的变化与自变量的变化的比值。几何意义是这个点的切线。物理意义是该时刻的（瞬时）变化率。注意：在一元函数中，只有一个自变量变动，也就是说只存在一个方向的变化率，这也就是为什么一元函数没有偏导数的原因。在物理学中有平均速度和瞬时速度之说。平均速度有。
2024-07-01 17:40:27
982
原创 深度学习500问 - 向量和矩阵
矩阵的奇异值（将矩阵svd分解）之和，这个范数可以用来低秩表示（因为最小化核范数，相当于最小化矩阵的秩——低秩），上述矩阵A最终结果就是：10.9287。：矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的优点在于它是一个凸函数，可以求导求解，易于计算，上述矩阵A最终结果就是：10.0995。标量通常被赋予小写的变量名称。：矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏，上述矩阵。：矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大），上述矩阵。
2024-07-01 17:35:48
882
原创 BERT 和 GPT 区别是什么，优缺点介绍
它是 Google 开发的预训练语言模型，于 2018 年 10 月推出。，一站式AI工具、资料、课程资源学习平台，每日持续更新。通过分享最新AI工具、AI资源等，帮助更多人了解使用AI，提升工作和学习效率。它指的是 OpenAI 创建的大型语言模型 (LLM) 系列，以。图片来源：Radford、Narasimhan、Salimans 和 Sutskever，2016 年。它们经过预先训练，并在其核心架构中使用 Transformer 模型。GPT 已经历了多次迭代，其中 GPT-4o是最新、最先进的。
2024-07-01 11:17:08
1738
原创 GPT和BERT两种架构该如何选择
一站式AI工具、资料、课程资源学习平台，每日持续更新。通过分享最新AI工具、AI资源等，帮助更多人了解使用AI，提升工作和学习效率。详细介绍了BERT和GPT这两种基于Transformer的模型，以及它们在特定任务上的应用和性能。，AI之路不迷路，2024我们一起变强。AI科技智库👉️👉️👉️。
2024-07-01 11:15:36
804
原创 RAG检索增强技术关键概念
RAG (Retrieval-Augmented Generation) 是一种结合信息检索与生成模型的技术。其主要目标是通过检索大量信息并使用生成模型进行处理，从而提供更加准确和丰富的回答。RAG技术在处理大规模文本数据时表现尤为出色，能够从海量信息中迅速找到相关内容并生成合适的响应。
2024-06-24 21:48:18
836
原创 Text2SQL技术关键点总结
Text-to-SQL（或者Text2SQL），顾名思义就是把文本转化为SQL语言，更学术一点的定义是：把数据库领域下的自然语言（Natural Language，NL）问题，转化为在关系型数据库中可以执行的结构化询语言（Structured Query Language，SQL），因此Text-to-SQL也可以被简写为NL2SQL。
2024-06-24 21:46:19
2387
原创 Vanna：基于RAG的TextToSql，企业智能BI看板解决方案
Vanna是基于检索增强(RAG)的sql生成框架，会先用向量数据库将待查询数据库的建表语句、文档、常用SQL及其自然语言查询问题存储起来。在用户发起查询请求时，会先从向量数据库中检索出相关的建表语句、文档、SQL问答对放入到prompt里(DDL和文档作为上下文、SQL问答对作为few-shot样例)，LLM根据prompt生成查询SQL并执行，框架会进一步将查询结果使用plotly可视化出来或用LLM生成后续问题。
2024-06-24 21:45:18
693
原创 Text2SQL的三种实现方法
传统BI工具通常分为数据接入层、分析工具层和基于该工具平台的各种行业应用层面，大模型可以在这些环节发挥作用。在LLM赋能BI的过程中，Text2SQL(或者称为NL2SQL)将自然语言表述的查询语句转化为SQL语句，是构建智能BI不可缺少的步骤。
2024-06-15 22:25:11
1926
原创 Text2SQL的难点和挑战
由于NL2SQL是直接输出用于数据库访问的语句，理论上只要不存在基本的语法错误，就可以执行成功，即使转换的SQL在语义上是错误的！NL2SQL输出语义准确性衡量的复杂性本质上来自于这样一个事实：判断AI输出的一段代码是否正确，要比判断一个选择题答案是否正确，或者一段字符串的相似度要复杂的多。通过分享最新AI工具、AI资源等，帮助更多人了解使用AI，提升工作和学习效率。评估NL2SQL模型输出正确性的复杂所在：你既不能用输出SQL的执行结果来判断，也不能简单的把输出SQL与标准答案对比来判断。
2024-06-15 22:23:58
646
原创 什么是大语言模型的涌现？
涌现能力无法使用Scaling Law来从较小模型上进行预测。图中，我们让x轴是模型的参数量，y轴是某种能力的效果，那么涌现能力在图中会有一个清晰的Pattern：在某个阈值之前的效果接近随机（把模型做大，性能也只能在一个水准上随机波动，不会偏差太多），但是超过该阈值后效果将大大高于随机。，一站式AI工具、资料、课程资源学习平台，每日持续更新。通过分享最新AI工具、AI资源等，帮助更多人了解使用AI，提升工作和学习效率。，AI之路不迷路，2024我们一起变强。AI科技智库👉️👉️👉️。
2024-06-14 21:34:53
443
原创 BERT的模型架构
这张图讲的非常简单，对比了BERT、OpenAI和ELMo，其中ELMo是相对比较落后的，因为它没有用Transformer，而是只是用了双向的LSTM模型，把一个从左到右的RNN和一个从右到左的RNN拼接起来。GPT和BERT都是用了Transformer，但GPT用的是解码器，所以在当前时间步，“注意”不到后面时间步的信息。这样一来，模型的训练会变得容易很多，让他去做判别式的任务（多分类），就容易以更小的数据集、更小的参数数量体现出更强的效果。，一站式AI工具、资料、课程资源学习平台，每日持续更新。
2024-06-14 21:30:56
522
原创 传统RNN的问题
如果模型的记忆力过强，也就是在输入端的信息需要经过很多个时间步之后才能传递到输出端（可以参考我在4.1.2贴的那张自己手绘的图），那么在反向传播过程中，每个时间步的梯度都需要乘以相同的参数矩阵，这就会导致梯度指数级别地增加或减小，从而导致梯度爆炸或梯度消失的问题。在传统的 RNN 中，每个时间步的隐藏状态都是通过当前的输入和上一时间步的隐藏状态计算得到的，每个时间步的隐藏状态都包含了全部历史时刻的信息，因此随着时间步的增加，隐藏状态中的信息会越来越多，其中有价值的信息含量的比率会越来越少。
2024-06-12 20:53:58
380
原创 强化学习的三层结构
环境是Agent所面对的外部世界，可以是现实世界中的物理环境，也可以是虚拟环境中的计算机模拟环境。在强化学习中，Agent通过感知环境获取当前的状态（State）信息，状态可以是环境的观测值或者内部的状态表示。Agent根据当前的状态选择合适的行为（Action）来与环境交互，行为是Agent在某个时刻从可能的动作集合中选择的具体动作。策略（Policy）是Agent在特定状态下选择行为的策略，可以是确定性策略（确定性地选择一个行为）或者随机策略（根据概率分布选择行为）。下围棋为例子，环境：棋盘；
2024-06-12 20:52:32
305
原创 为什么机器这么难理解人类语言？
人们还经常使用讽刺、隐喻、比喻、口语和俚语等非字面意义的表达方式，比如“潘帕斯雄鹰真是这场盛典中的一匹黑马”，潘帕斯雄鹰指的是阿根廷队而不是一个动物，盛典指的是世界杯，黑马是比喻阿根廷队取得了超乎我们预期的表现。这种世界知识和常识对于理解自然语言是至关重要的，但对于机器来说，获取和应用这些知识是一项复杂的任务。例如，尽管大多数时候terribly的意思是负面的，但The movie is terribly exciting中，terribly的意义就是积极的。，AI之路不迷路，2024我们一起变强。
2024-06-12 20:49:53
362
原创 为什么在NLP中迟迟没有出现类似CV预训练的范式
这是因为，虽然word2vec是将迁移学习引入NLP领域的先驱之一，但是它主要关注的是单词级别的表示学习，而不是针对具体任务的模型迁移。也就是说，在面对一个NLP任务的时候，word2vec可以让我们快速解决从词元到词嵌入的那两层神经网络（对于一个包含V个单词的词典，如果我们用N维稠密向量来表示每一个词，那么word2vec模型其实就是压迫去学习一个V×N的矩阵），但也仅此而已了。由于word2vec的成功，迁移学习范式已经成为了NLP领域的标配！，一站式AI工具、资料、课程资源学习平台，每日持续更新。
2024-06-12 20:47:39
348
原创 Suno推出创新功能：哼唱旋律即可生成完整歌曲
这个版本的改进包括能够制作约4分钟的歌曲、创建最长2分钟的歌曲扩展，以及显著改进的歌曲结构。这个创新的AI音乐创作平台不仅能够将用户哼唱的旋律转化为完整的歌曲，还能够根据用户的喜好和需求进行个性化定制。这意味着，无论用户是否有深厚的音乐理论知识，都能通过Suno的AI音乐创作平台创作出属于自己的音乐作品。Suno最近宣布了一项令人兴奋的新功能，它将彻底改变音乐创作的方式。随着Suno的AI音乐创作平台不断进化，我们期待看到更多令人惊艳的音乐作品诞生。音乐创作平台，能够将用户哼唱的声音转化为完整的音乐作品。
2024-06-11 22:25:12
406
原创 OpenAI开源GPT-4稀疏自动编码器
尽管OpenAI通过SAE在GPT-4模型中找到了大量可解释的模式和特征，但要完整捕捉大模型的行为，可能需要更多的特征。SAE的开发和应用，为提高大模型的可解释性和控制性提供了一个有前景的方向，有助于构建更安全、更可靠的AI系统。OpenAI使用的N2G方法是一种直观的解释模型行为的技术，通过识别潜在单元激活的特定特征或模式，构建图表示，揭示潜在单元激活的条件。此外，神经网络的内部结构和参数设置极其复杂，参数数量庞大，这些参数的综合作用决定了模型的行为，使得精确预测或控制特定输出变得困难。
2024-06-11 22:24:16
469
原创 腾讯推出了其混元文生图大模型
该模型采用了业内首个中文原生DiT架构，此次开源，腾讯不仅提供了模型权重和推理代码，还包括了完整的模型算法，使得企业和个人开发者可以免费商用。腾讯此次选择将混元文生图模型全面开源，旨在与行业共享其在文生图领域的实践经验和研究成果，丰富中文文生图开源生态，共建下一代视觉生成开源生态，推动。随着混元文生图大模型的发布和开源，我们有理由相信，这将极大地推动视觉生成技术的发展，为各行各业带来更多的创新可能。基于腾讯开源的文生图模型，开发者和企业无需从头训练，即可直接用于推理，从而节约大量人力和算力。
2024-06-11 22:22:50
445
原创 决策树算法的实现原理
信息简是度量信息不确定性的一种方法，它的作越大，表示信息的不确定性越高。信息增益是指在某个特征上划分数据集前后数据集，让信息熵减少，即让信息不确定性降低信息熵的减少量。我们希望选择信息增益最大的毕征作为当前节点的划分标准，从而构建决策树。决策树算法的原理是根据已知数据集的特征和决策树算法是.种常用的机器学习算法，它可分类结果，构建一颗树形结构，通过对待分类样才进行特征比较和分类判断，实现对新样本的分类预测。在决策树中，每个节点代表一个特征，每个分支代表这个特征的一个取值，个叶子节点代表一个分类结果。
2024-06-10 18:45:09
303
原创 朴素贝叶斯算法的实现原理
4. 类别之间的类别比例影响结果：朴素贝叶斯算法对类别之间的类别比例敏感，如果训练样本中某个类别的样本数量远大于其他类别，可能会导致分类结果的偏差。简单来说，朴素贝叶斯分类器假设在给定样本类别的条件下，样本的每个特征与其他特征均不相关，对于给定的输入，利用贝叶斯定理，求出后验概率最大的输出。2. 对输入数据分布的假设：朴素贝叶斯算法假设特征的分布满足条件独立性，但在实际情况中，特征之间的关系可能是复杂的，导致模型的偏差。p2(x,y)表示数据点(x,y)属于类别2（图中用三角形表示的类别）的概率。
2024-06-10 18:44:23
322
原创 逻辑回归算法的原理
比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。注意，这里用的是“可能性”，而非数学上的“概率”，logisitc回归的结果并非数学定义中的概率值，不可以直接当做概率值来用。(1)对率函数任意阶可导，具有很好的数学性质，许多现有的数值优化算法都可以用来求最优解，训练速度快;(6)以概率的形式输出，而非通过知识直接判断是0还是1，对许多利用概率辅助决策的任务很有用。(4)准确率并不是很高，因为形式非常的简单(非常类似线性模型)，很难去拟合数据的真实分布;
2024-06-10 18:43:37
424
原创 线性回归算法的应用
已知线性回归方程是 Y = AX + B，将已有数据代入到这个方程中，然后求得出一组 A 和 B 的最优解，最终拟合出一条直线，使得图中每个点到直线的距离最短，也就是上面说的损失函数最小。结合这张图我们可看出，有些坐标点的收益相对较高，有些坐标点的收益相对较低，大概率它们是符合线性关系的。因为一般来说，广告投放得越多，钱花得越多，知道的人越多，产品卖得越多。1.预测的精确度较低，由于获得的模型只是要求最小的损失，而不是数据良好的拟合，所以精确度比较低。，AI之路不迷路，2024我们一起变强。
2024-06-10 18:42:55
243
原创 线性回归算法的原理
当得到这条函数表达式的时候，讲所有已知的点代入到这个函数表达式之间，就会得到一个函数值，而这个函数值减去真实值之后就会得到一个误差，将所有的误差平方后求和就是这个函数表达式整体的一个误差，这种将所有误差平方求和的方法叫做残差平方和。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。举个例子，在二维平面上一些点随机的分布在一条线的两侧，那么线性回归的目的就是找到这条线的函数表达式，得到这条线的函数表达式就能处理未知的点，就能够求出他的结果值。
2024-06-10 18:42:01
182
原创 K近邻算法的实现原理
输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。K-近邻算法(K Nearest Neighbor)又叫KNN算法，指如果一个样本在特征空间中的k个最相似的样本中的大多数属于某一个类别，则该样本也属于这个类别。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。
2024-06-10 18:41:16
279
原创 机器学习与深度学习的区别
深度学习比经典的机器学习方法的模型参数要多得多，因此常常深度学习需要训练的数据也是非常大的，比如imagenet这样大的数据集加速了深度学习的发展。另一方面，想要训练的快，就需要使用运算速度非常快的GPU，因为无论卷积还是transformer两者在网络结构上都是可以并行运算的，这正好符合GPU的特性。因为深度学习的模型本身比较大，所以模型需要进行多轮的大量的数据训练，才可以收敛，因此在训练上，深度学习要比经典的机器学习方法要慢很多。，一站式AI工具、资料、课程资源学习平台，每日持续更新。
2024-06-10 18:40:18
293
原创 机器学习与深度学习的区别
一般要谈机器学习与深度学习的区别，我们最好是将其视为深度学习与传统的机器学习方法的区别。对于深层神经网络，开始我们学到简单特征，之后随着网络深度的增加，我们的网络将进一步整合之前的简单特征得到更加高级更加抽象的特征。人工智能AI，一种是基于知识的，我们人类专家直接将规则写好，然后让AI运行这个规则的流程，例如一般单机游戏中的AI。（2）经典的机器学习方法，人类设计好特征，然后将特征送给可学习的特征映射器（分类，回归等）。（1）基于规则的系统，机器没有可以学习的，程序员写好程序交给机器去执行就行了。
2024-06-10 18:39:39
301
原创 不同大模型LLMs 的分词方式的区别
基于预训练模型的分词：最近的研究表明，使用预训练的语言模型，如BERT、GPT等，可以在分词任务上取得很好的效果。基于深度学习的分词：这种分词方式使用深度学习模型，如循环神经网络（RNN）或Transformer模型，来进行分词。这种方法可以处理复杂的语言结构和未见过的词语，但需要大量的训练数据和计算资源。通常会使用大量的标注数据来训练模型，并根据词语的频率和上下文来进行切分。需要注意的是，不同的大模型LLMs可能在分词方式上有所差异，具体的实现和效果可能因模型的结构、训练数据和任务设置而有所不同。
2024-06-09 16:15:12
390
原创 什么是大语言模型的位置编码
在传统的Transformer模型中，位置编码使用了正弦和余弦函数的组合来表示相对位置信息，但它并没有提供绝对位置的信息。传统的Transformer模型使用了绝对位置编码来捕捉输入序列中的位置信息，但它并没有提供相对位置的信息。在这种方法中，模型通过计算不同位置之间的相对位置偏移量，并将这些偏移量作为注意力机制的输入，以便模型能够更好地关注不同位置之间的相对关系。相对位置编码的另一种方法是使用相对位置嵌入层。在这种方法中，每个位置都被映射为一个相对位置向量，该向量表示该位置与其他位置之间的相对位置关系。
2024-06-09 16:13:27
782
原创 如何给LLM注入领域知识
数据增强：在训练过程中，可以通过添加领域相关的数据来增强模型的训练数据。这些方法可以是基于规则的、基于案例的或基于实例的。模型解释性：使用模型解释工具（如LIME、SHAP等）来理解模型在特定领域的预测原因，从而发现潜在的知识缺失并加以补充。知识图谱：将领域知识表示为知识图谱，然后让LLM模型通过学习知识图谱中的实体和关系来理解领域知识。多任务学习：通过同时训练模型在多个相关任务上的表现，可以提高模型在特定领域的泛化能力。持续学习：在模型部署后，持续收集领域特定数据并更新模型，以保持其在新数据上的性能。
2024-06-09 16:12:13
462
原创 大模型测评涉及到哪些方面
评测大语言模型是一个复杂的过程，需要结合人工评估和自动评估指标来进行综合评价。由于大语言模型的规模和复杂性，评测结果往往需要多个评估者的共识，并且需要考虑到评估者的主观因素和评估标准的一致性。语义准确性：评估模型生成的文本是否准确传达了所需的含义，并且是否避免了歧义或模棱两可的表达。语法和流畅度：评估模型生成的文本是否符合语法规则，并且是否流畅自然。这需要通过人工评估来检查模型生成的文本是否与前文和后文相衔接。创造性和多样性：评估模型生成的文本是否具有创造性和多样性，是否能够提供不同的观点和表达方式。
2024-06-09 16:03:45
358
原创 领域大模型预训练应用哪些数据集比较好
社交媒体数据：收集与目标领域相关的社交媒体数据，如推特、微博、论坛等。社交媒体上的内容通常反映了人们在目标领域中的讨论、观点和问题，可以帮助模型了解领域内的热点和用户需求。同时，还可以考虑使用数据增强技术，如数据合成、数据变换等，来扩充训练集的规模和多样性。领域特定文本数据集：收集与目标领域相关的文本数据集，例如专业领域的论文、报告、文档、书籍等。领域内的对话数据：获取与目标领域相关的对话数据，如客服对话、问答平台数据等。新闻文章通常包含了领域内的最新信息和事件，可以帮助模型了解领域内的动态和趋势。
2024-06-09 16:02:59
223
原创 大模型的训练集有哪些
需要注意的是，使用这些数据集时，应该遵守数据的版权和使用规定，确保合法的使用权。此外，还可以通过数据增强技术，如数据合成、数据变换等，来扩充训练集的规模和多样性。维基百科的内容丰富多样，涵盖了各种领域的知识，可以作为语言模型训练的数据集。它包含了大量的网页文本，可以作为语言模型的训练数据。：这是一个由互联网上抓取的大规模文本数据集，包含了来自各种网站的文本内容。它是一个常用的数据集，可用于语言模型的训练。：新闻文章是另一个常用的语言模型训练集。：这是一个包含了大量图书文本的数据集，用于语言模型的训练。
2024-06-09 16:02:19
292
原创 如何解决人工产生的偏好数据集成本较高，很难量产问题
主动学习是一种主动选择样本的方法，通过选择那些对模型训练最有帮助的样本进行标注，从而减少标注的工作量。数据增强和迁移学习：通过数据增强技术，如数据合成、数据扩增等，来扩充有限的人工产生数据集。此外，可以利用迁移学习的方法，将从其他相关任务或领域收集的数据应用于当前任务，以减少对人工产生数据的需求。通过将任务分发给多个人参与，可以降低每个人的负担，并且可以通过众包平台的规模效应来提高数据收集的效率。综合运用上述方法，可以有效降低人工产生偏好数据的成本，提高数据的量产能力，并且保证数据的质量和多样性。
2024-06-09 16:01:16
210
原创 RLHF 在实践过程中存在哪些不足
人类专家不可能实时监控和评估模型的每一个动作，因此模型可能需要等待一段时间才能收到反馈，这可能会导致训练的效率和效果下降。缺乏探索与利用的平衡：在RLHF中，人类反馈通常用于指导模型的行为，但可能会导致模型过于依赖人类反馈而缺乏探索的能力。针对这些不足，研究人员正在探索改进RLHF方法，如设计更高效的人类反馈收集机制、开发更准确的反馈评估方法、结合自适应探索策略等，以提高RLHF方法的实用性和性能。人类反馈的主观性：人类反馈往往是主观的，不同的专家可能会有不同的意见和判断。AI科技智库👉️👉️👉️。
2024-06-09 16:00:40
369
原创 如何让大模型输出合规化
需要注意的是，合规性要求因特定领域、应用和地区而异，因此在实施上述方法时，需要根据具体情况进行调整和定制。引入合规性约束：在模型训练过程中，可以引入合规性约束，以确保模型输出符合法律和道德要求。审查和验证模型：在模型训练和部署之前，进行审查和验证以确保模型的输出符合合规要求。监控和更新模型：持续监控模型的输出，并根据合规要求进行必要的更新和调整。及时发现和解决合规性问题，确保模型的输出一直保持合规。合规培训和教育：为使用模型的人员提供合规培训和教育，使其了解合规要求，并正确使用模型以确保合规性。
2024-06-09 15:59:42
597
原创 大语言模型训练/微调/推理方法节省内存的方法
剪枝（Pruning）：通过去除冗余或不重要的模型参数，可以减少模型的内存占用。蒸馏（Knowledge Distillation）：使用较小的模型（教师模型）来指导训练较大的模型（学生模型），可以从教师模型中提取知识，减少内存占用。参数共享（Parameter Sharing）：通过共享模型中的参数，可以减少内存占用。同时，不同的方法可能对不同的模型和任务有不同的效果，因此需要进行实验和评估。梯度裁剪（Gradient Clipping）：通过限制梯度的大小，可以避免梯度爆炸的问题，从而减少内存使用。
2024-06-09 15:59:04
328
原创 大模型生成时的参数怎么设置
以上参数设置需要根据具体任务和数据集的特点进行调整和优化。通常情况下，可以通过实验和调参来找到最佳的参数组合，以获得较好的推理效果。同时，还可以通过人工评估和自动评估指标来评估生成文本的质量和准确性，进一步优化参数设置。，一站式AI工具、资料、课程资源学习平台，每日持续更新。通过分享最新AI工具、AI资源等，帮助更多人了解使用AI，提升工作和学习效率。，AI之路不迷路，2024我们一起变强。AI科技智库👉️👉️👉️。
2024-06-09 15:57:53
518
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人