![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI相关学习
文章平均质量分 75
AI相关学习
pumpkin84514
这个作者很懒,什么都没留下…
展开
-
GPT4v和Gemini-Pro调用对比
适合需要处理复杂自然语言和图像生成任务的场景。调用简单,适用于基于文本和图像的多种应用。Gemini-Pro:适合多模态处理任务,能够处理和集成不同类型的数据(文本、图像、视频、语音)。其强大的跨模态能力使其在需要复杂数据整合和分析的场景中非常有用。两者各有优缺点,选择哪一个取决于具体的应用需求和现有的技术栈。原创 2024-06-19 22:42:10 · 712 阅读 · 0 评论 -
GPT-4V 和 Gemini对比
GPT-4V适合需要强大文本生成能力和自然多模态融合的任务,适用于高性能计算环境。Gemini则在高效的多模态处理和精确的跨模态对齐方面表现出色,更加适合需要细粒度理解和资源受限的应用场景。这两种模型各有优势,选择使用哪一个取决于具体的应用需求和资源环境。原创 2024-06-18 23:21:11 · 913 阅读 · 0 评论 -
SiGILP是什么?
SiGILP是一个强大的多模态模型,能够同时理解和生成图像和文本内容。与CLIP相比,SiGILP不仅能匹配图像和文本,还具备生成新内容的能力。使用步骤包括安装依赖、加载模型、处理输入数据、生成和解释输出,以及解析和处理结果。示例代码展示了如何根据文本描述生成与之相关的图像或解释。原创 2024-06-18 23:10:59 · 1144 阅读 · 0 评论 -
clip_en的使用学习
由 OpenAI 提出的 CLIP 模型(Contrastive Language-Image Pretraining)是一个多模态模型,可以将图像和文本编码到同一个向量空间中,从而能够进行图像与文本之间的相似性匹配。通过上述代码和结果的分析,我们可以看出,CLIP 模型在处理多模态任务时具有强大的功能和灵活性,尤其是在不同语言环境下,如中文,通过。是 CLIP 的中文版本,专为支持中文文本和图像之间的匹配而训练。两者的核心思想和模型架构相似,主要区别在于训练语料和处理的语言不同。原创 2024-06-17 23:23:47 · 1109 阅读 · 0 评论 -
CLIP模型调用的一段代码及解释
警告信息:警告提示我们参数在当前环境下无效。可以去掉或检查文档获取更多信息。模型输出的键:提供了模型的多个输出,其中我们主要关注,它表示图像和文本的匹配度得分。相似性概率:显示了每个标签与图像的匹配概率,概率最高的标签表示模型认为最符合图像内容的描述。原创 2024-06-17 00:33:23 · 834 阅读 · 0 评论 -
CLIP的概念学习
CLIP,全称是“Contrastive Language-Image Pre-training”,是由OpenAI开发的一种能够同时理解文本和图像的人工智能模型。它可以看作是一个桥梁,连接了语言(文字)和视觉(图像)两种信息形式。CLIP通过将图像和文本两种不同的模态整合到一个模型中,能够理解和处理多种复杂任务。它的核心在于使用对比学习来学习图像和文本之间的关系。通过适当的预处理和编码,CLIP能够在图像搜索、图像生成和内容审核等多种实际应用中发挥强大的作用。原创 2024-06-16 18:45:25 · 840 阅读 · 0 评论 -
RAG下的prompt编写探索
在RAG系统中,编写抽象的prompt需要在提供足够的指导和保持足够的灵活性之间取得平衡。高层次的回答结构:提供一个通用的框架,涵盖从总结问题到提出解决方案的整个过程。整合和分析背景信息:明确如何利用检索到的背景信息来构建连贯的回答。逻辑性和严谨性:确保生成的回答具有逻辑连贯性和技术严谨性。灵活性和适应性:设计prompt使其能够适应不同问题的回答需求,而不仅限于具体的细节。通过这种方式,您可以编写出适用于广泛技术领域的抽象prompt,并帮助生成模型生成高质量的、符合技术严谨性的回答。原创 2024-06-15 23:18:28 · 1375 阅读 · 0 评论 -
基于Transformer的模型常见的张量类型
在自然语言处理(NLP)任务中,特别是使用基于Transformer的模型(如BERT、RoBERTa等)进行微调时,输入数据通常会被编码成几个关键的张量。以下是三个最常见的张量类型:input_ids、attention_mask和labels,它们在预处理阶段生成,并在模型的前向传播中使用。原创 2024-06-10 11:57:14 · 388 阅读 · 0 评论 -
轻量化微调使用场景对比
特性P-TuningLoRAQLoRA调整方式离散的提示词向量连续的提示嵌入向量可学习的前缀向量,插入到每层低秩矩阵分解量化 + 低秩矩阵分解参数量较少较多较少极少(仅低秩矩阵)极少(量化 + 低秩矩阵)微调粒度较粗(提示词级别)较细(嵌入向量级别)深层次(模型各层)低秩近似低精度 + 低秩近似计算开销较低较高较低极低极低适用场景多任务学习、少样本学习、低资源环境复杂任务、深度语义理解高效微调、生成任务、深度信息引导。原创 2024-06-10 10:51:23 · 824 阅读 · 0 评论 -
自注意力机学习
自注意力机制:允许模型在处理一个输入时,同时关注到整个输入序列中的所有其他输入。提高了捕捉长距离依赖关系的能力。Query, Key 和 Value:分别代表当前处理的焦点、其他输入的标识和它们携带的信息。点积注意力:通过计算Query和Key的相似性来确定它们之间的关系强度。缩放:对点积结果进行调整,防止数值过大导致计算不稳定。Softmax 归一化:将相似性得分转化为概率分布,表示每个输入的重要性。原创 2024-06-07 23:22:31 · 804 阅读 · 0 评论 -
Transformer 内部原理学习
Transformer是一个非常强大的模型,它利用自注意力机制、多头注意力机制和前馈神经网络,从多个角度和层次来处理和理解输入数据。通过残差连接和层归一化,它确保了信息在多层处理中能够有效流动和保持稳定。原创 2024-06-07 23:18:07 · 952 阅读 · 0 评论 -
梳理模型训练入门
层的选择根据数据类型和任务选择适当的层。示例:图像数据使用卷积层,文本数据使用嵌入层和循环层。层的数量和大小根据数据复杂度和计算资源选择适当的层数和每层的神经元数量。太多层可能导致过拟合,太少层可能无法学习到复杂特征。示例:在水果分类项目中,如果图像分辨率较低且数据量较小,可以从简单的FNN开始。若图像分辨率高且数据量大,可以使用CNN来处理图像特征。代码示例self.fc2 = nn.Linear(128, 10) # 假设有10种水果return x。原创 2024-06-06 00:46:29 · 1029 阅读 · 0 评论 -
详细对比模型训练和模型精调
当我们进行模型精调(Fine-Tuning)和模型训练时,我们需要考虑到不同的步骤和目标。原创 2024-06-06 00:32:19 · 1010 阅读 · 0 评论 -
简单的模型训练学习
通过这些步骤,我们实现了一个能够对MNIST手写数字进行分类的神经网络模型,并完成了训练和测试过程。6. **主函数**:设置设备、加载数据、创建模型、定义优化器和损失函数,然后进行训练和测试。3. **定义模型**:构建一个简单的全连接神经网络模型。7. **运行主函数**:确保代码在直接运行时执行主函数。2. **设置参数**:定义训练和测试的相关超参数。4. **定义训练过程**:编写训练模型的逻辑。5. **定义测试过程**:编写测试模型的逻辑。1. **导入库**:引入必要的工具和库。原创 2024-06-05 23:52:44 · 654 阅读 · 0 评论 -
过拟合学习理解
但是,你犯了一个常见的错误——你只专注于书中的那些例子和习题,反复记忆书中的每一个细节,包括书中列出的每个国家的首都、人口、主要城市、河流、山脉,甚至一些特别少见的地理知识,比如某个小镇的名字或是一些罕见的地名。这就是过拟合的比喻。在这个场景中,你就像一个过拟合的模型,你过分地学习了训练数据(复习书中的例子)中的细节,以至于你失去了在新数据(考试题目)上的表现能力。在机器学习中,过拟合意味着模型学习到了训练数据的“噪音”和细微的波动,而不是数据的普遍规律,因此在面对新数据时,模型的表现并不好。原创 2024-06-04 00:26:37 · 836 阅读 · 0 评论 -
PyTorch、显卡、CUDA 和 cuDNN 之间的关系
它会把数据发送到 GPU,使用 CUDA 来控制 GPU 如何执行计算,同时使用 cuDNN 来执行那些预设好的深度学习算法,以达到最快的烹饪速度(计算速度)。总的来说,PyTorch 是一个高级的工具,它让深度学习的专家和新手都能轻松使用 GPU 的强大计算力,就像一位经验丰富的厨师使用先进的厨房设备一样。显卡,特别是 NVIDIA 的 GPU,具有大量的并行处理单元,这些单元可以同时执行大量相似的操作,非常适合进行大规模矩阵运算,如深度学习中的卷积神经网络(CNNs)和循环神经网络(RNNs)的计算。原创 2024-06-03 01:38:57 · 1406 阅读 · 1 评论 -
解决torch.cuda.is_available()一直为false的问题
需要将bin、include、和lib/x86目录中的文件拷贝到亲们cuda安装的对应目录中。3、修改pytorch版本,从cpu版本改为gpu版本。配置成功后,使用nvidia-smi命令检查如下。使用网站上面生成的命令进行安装。执行文章最开始的脚本,结果如下。注意:需要注册才能进行安装。根据驱动选择要安装的版本。原创 2024-06-03 01:01:11 · 343 阅读 · 0 评论 -
PyTorch 的 torch.nn 模块学习
torch.nn是 PyTorch 中专门用于构建和训练神经网络的模块。原创 2024-06-01 00:48:42 · 1300 阅读 · 0 评论 -
PyTorch——torch核心库
torch是 PyTorch 的核心库,它提供了大量的基础功能,包括但不限于张量操作、自动微分、线性代数运算、随机数生成、以及与CPU和GPU交互的能力。以下是torch。原创 2024-05-30 21:33:15 · 824 阅读 · 0 评论 -
Fine-tuning和模型训练的关系
Fine-tuning和模型训练不是完全相同的概念,但它们之间有密切的关系,都是机器学习和深度学习过程中的重要步骤。是一个更广泛的概念,指的是使用数据去调整模型的内部参数,以使得模型能够从输入数据中学习并做出预测或决策。这个过程通常包括前向传播(forward pass)、计算损失函数(loss function)、反向传播(backward pass)以及参数更新等步骤。模型训练可以是从零开始(随机初始化参数),也可以是在预训练模型基础上进行。原创 2024-05-29 22:33:28 · 1483 阅读 · 0 评论 -
轻量化微调相关学习
轻量化微调(Lightweight Fine-Tuning)是指在大型预训练模型基础上,通过修改或添加少量参数来进行模型适应性调整的一种方法,旨在减少计算资源消耗和避免过拟合问题,同时保持模型的性能。这种方法特别适用于资源有限或需要快速部署模型到特定任务的场景。原创 2024-05-26 20:51:32 · 504 阅读 · 0 评论 -
常用激活函数学习
这些激活函数的选择取决于具体任务的需求,如是否需要输出概率、是否关注梯度消失或爆炸问题,以及模型的深度等因素。不同的激活函数在不同的大模型中有其独特的应用场景,优化模型性能和学习能力。原创 2024-05-25 23:14:46 · 744 阅读 · 0 评论 -
常用损失函数学习
损失函数(Loss Function),在机器学习和统计学中,是用来量化模型预测输出与真实结果之间差异的函数。简而言之,损失函数衡量了模型预测的好坏,目标是通过最小化这个函数来优化模型参数,从而提高预测准确性。原创 2024-05-25 23:01:35 · 1112 阅读 · 0 评论 -
使用TensorBoard记录功能时,添加SummaryWriter到callbacks,某些版本可能不适用该如何修改
不被支持,您可以采取另一种方式来集成TensorBoard记录功能,即通过自定义回调函数来实现。Hugging Face Transformers库允许用户自定义训练回调,这可以用来在训练过程中向TensorBoard写入日志。方法中,我们将训练日志中的每个标量值写入到TensorBoard中,这样您就可以在TensorBoard中可视化这些指标了。记得在训练结束后关闭。的实例在训练开始前被初始化,并且在训练结束后被关闭。在这个示例中,我们创建了一个名为。原创 2024-05-24 00:33:50 · 266 阅读 · 0 评论 -
TensorBoard相关学习
TensorBoard是Google为TensorFlow框架开发的一个强大的可视化工具,它可以帮助用户更直观地理解、分析和调试机器学习模型的训练过程。通过TensorBoard,你可以可视化模型的结构、监控训练过程中的指标变化(如损失函数、准确率)、查看权重直方图、嵌入向量,甚至可以展示图像数据等。这一工具极大地提高了机器学习项目开发的效率和透明度。原创 2024-05-23 23:24:15 · 737 阅读 · 0 评论 -
Fine Tuning操作步骤
原理:设定训练过程中的各种参数,如学习率、批次大小、训练轮数等,以便优化训练过程。步骤使用定义训练参数。示例output_dir='./results', # 保存模型的目录num_train_epochs=3, # 训练轮数per_device_train_batch_size=8, # 每个设备的训练批次大小per_device_eval_batch_size=16, # 每个设备的验证批次大小evaluation_strategy='epoch', # 每个epoch结束后评估模型。原创 2024-05-22 21:48:42 · 670 阅读 · 0 评论 -
Hugging Face的TrainingArguments常用参数学习
output_dir: 确保模型和结果保存位置。: 影响内存使用和训练速度。: 决定训练时长和模型的收敛程度。: 学习率,影响模型的学习速度和性能。: 正则化,防止过拟合。: 确保模型在训练过程中的监控和评估。fp16: 使用混合精度可以提高训练速度并减少内存占用,但需要兼容的硬件。通过合理配置这些参数,可以更好地控制模型训练过程,提高训练效率和模型性能。原创 2024-05-22 21:35:22 · 474 阅读 · 0 评论 -
训练/预训练/微调/轻量化微调是什么?
训练是机器学习模型学习过程的核心部分,它涉及使用特定的数据集和损失函数来调整模型的参数,以最小化预测输出与真实标签之间的差异。简单来说,就是让模型学会从输入数据中提取特征并做出准确预测。原创 2024-05-20 20:40:25 · 1009 阅读 · 0 评论 -
GPT-3.5和GPT-4o简单比较
GPT-3.5和GPT-4o各有其优势和适用场景。GPT-3.5适用于广泛的通用任务,已经被广泛应用且成本较低;而GPT-4o则在处理复杂任务和提高对话体验方面表现更为出色,适合高端应用和实时处理需求。具体选择哪个模型应根据具体需求和应用场景来决定。原创 2024-05-19 14:03:14 · 1075 阅读 · 0 评论 -
深度神经网络的理解
深度神经网络就像是一个简化版的“电子大脑”,由许多层级的“神经元”(在计算机中称为节点或单元)构成,这些层级一层层堆叠起来,因此叫做“深度”神经网络。现在,把那个小孩子换成一台电脑,那些照片换成数字形式的数据,这个学习过程就是深度神经网络的工作方式了。不过,电脑不是靠眼睛看图片,而是通过处理图片中的像素点(小格子,每个都有自己的颜色值)来理解图片内容。总的来说,深度神经网络是一种强大的工具,能够自动从数据中学习并做出智能决策,广泛应用于图像、声音、文本等领域的复杂问题解决。原创 2024-05-18 23:29:58 · 934 阅读 · 0 评论 -
哈密顿算子的学习
哈密顿算子(Hamiltonian operator)在经典力学和量子力学中有其深刻的物理意义,但在深度学习领域直接应用哈密顿算子的情况较少见。不过,我们可以从基础概念出发,尝试以一种通俗易懂的方式解释哈密顿算子的基本含义,然后再探讨它在理论上的潜在联系或启发,尽管直接应用实例不多。原创 2024-05-17 22:38:50 · 573 阅读 · 0 评论 -
卷积神经网络和误差反向传播如何一起工作
这就像误差反向传播,从最终的错误(猜错的数字)开始,一步步倒推,找出是哪些眼镜片的视角需要调整。通过这样的循环,网络逐渐学习到如何从输入图像中提取有用的特征,并做出准确的分类决策,就像是我们不断调整望远镜,最终能够清晰地指引我们找到宝藏。:你不断地用这套方法探索,每次调整一点点,慢慢地,你的望远镜(CNN)越来越精准,直到几乎每次都能准确找到宝藏(正确识别数字)。当然,让我们在保持通俗易懂的基础上,加入一些基本的计算概念,以便更好地理解卷积神经网络(CNN)和误差反向传播法的工作原理。原创 2024-05-17 21:42:45 · 741 阅读 · 0 评论 -
卷积神经网络(Convolutional Neural Networks, CNN)的理解
卷积神经网络(Convolutional Neural Networks, CNN)是一种特别设计用于处理具有网格结构数据(如图像、音频波形)的神经网络。它在图像识别、视频分析、自然语言处理等领域有着广泛的应用。原创 2024-05-15 07:07:53 · 524 阅读 · 0 评论 -
神经网络中的误差反向传播(Backpropagation)方法理解
想象一下,神经网络就像是一个复杂的迷宫,里面有许多交叉路口(神经元),每个路口都有指示牌告诉你往哪个方向走(权重),而你的目标是找到从入口到出口的最佳路径,使得从起点到终点的路程最短或达到某个最优目标。原创 2024-05-14 22:22:23 · 1622 阅读 · 0 评论 -
深度学习关键概念理解
深度学习的关键概念。原创 2024-05-14 00:07:33 · 471 阅读 · 0 评论 -
Excel生成符合标准正态分布的随机数
函数是Excel中的一个函数,用于计算正态分布的反函数。给定一个累积分布函数(CDF)的概率值,它会返回相应的正态分布的值。的第一个参数(probability),意味着你想找到一个随机的概率值对应的正态分布的分位点。由于标准正态分布的均值为0且标准差为1,因此你实际上是在寻找一个在标准正态分布中对应随机概率的位置。函数的结果会更新,所以生成的随机数也会改变。如果你需要固定生成的随机数(例如为了复现实验结果),可能需要在生成后将公式替换为具体的数值或者使用其他方法锁定随机数的值。原创 2024-05-12 03:44:31 · 1002 阅读 · 0 评论 -
神经网络权重初始化学习
在神经网络中,权重初始化是一个关键步骤,它影响着模型的训练效率和最终性能。使用正态分布作为初始值是一种常见且有效的策略,尤其是在深度学习中。原创 2024-05-12 00:07:57 · 778 阅读 · 0 评论 -
常用大模型介绍
它们在技术原理上与GPT相似,但在训练数据、模型结构细节、优化目标等方面可能有各自独特的设计和优化,旨在提高模型性能、减少有害输出、增强逻辑一致性和通用性等。:GPT基于Transformer架构,该架构的核心组件是自我注意层,它允许模型查看整个输入序列来计算每个位置的上下文向量,这解决了RNN(循环神经网络)在处理长序列时的梯度消失或爆炸问题。:Gemini模型能够在同一架构下同时处理文本、图像、音频等多种模态数据,利用跨模态注意力机制将不同类型的信号整合成统一的表征,实现了跨模态的翻译、生成和推理。原创 2024-05-07 23:10:05 · 963 阅读 · 0 评论 -
深度学习的核心数学知识点
在神经网络中,假设有一个简单的两层全连接网络,其损失函数 ( L ) 是关于权重矩阵 ( W_1 ) 和 ( W_2 ) 的函数。例如 ( L^2 ) 范数(欧几里得范数):对于向量 ( \mathbf{x} ),其 ( L^2 ) 范数定义为 ( ||\mathbf{x}||这里的梯度计算就利用了微积分中的链式法则,而整个训练过程又体现了概率论(通过梯度来最小化负对数似然)、线性代数(权重矩阵的操作)以及优化理论(选择合适的更新规则)。:向量加法、减法、标量乘法、点积(内积)、矩阵乘法。原创 2024-04-30 01:34:38 · 536 阅读 · 0 评论 -
Huggingface简单介绍
记住,以上只是基本流程概述,实际微调过程中还需要处理诸如数据预处理、超参数调整、训练循环设置等一系列工作,具体细节取决于所使用的深度学习框架和任务需求。在Hugging Face Datasets库中查找数据集不需要直接在网页界面上操作,而是通过Python编程实现。很抱歉,由于我的上下文受限于文字交互,无法直接展示网页界面操作。同样,在本地环境中通过编程方式操作,而不是在网页界面上。,在那里你可以搜索和查看数据集的结构、大小以及如何在代码中引用它们。上述代码首先列出所有可加载的数据集,然后通过。原创 2024-04-29 07:33:12 · 575 阅读 · 0 评论