AI相关学习
文章平均质量分 78
AI相关学习
pumpkin84514
这个作者很懒,什么都没留下…
展开
-
常见 Mermaid 图表类型的 prompt 编写
以上为针对不同类型 Mermaid 图表的编写 prompt 示例及对应输出结果。这些示例展示了从描述场景到实际 Mermaid 代码生成的全过程,帮助理解每种图表如何通过明确的 prompt 描述进行有效生成。通过练习这些模板,你可以更好地引导 ChatGPT 为不同场景生成合适的 Mermaid 图表代码。原创 2024-09-13 00:03:38 · 1124 阅读 · 0 评论 -
TQA相关
ReAct Prompting 通过将模型的思考过程结构化为一系列步骤,使模型能够像人类一样进行推理、执行行动,并根据反馈不断调整,达到更高的任务完成效果。ReAct Prompting 与 TQA 模板为 LLM 的推理与行动提供了一套明确的框架,使其能够在复杂任务中更好地理解上下文,自动生成高质量的用户故事验收条件。如果 LLM 提出的问题包含了对操作的误解,那么需要修改用户故事,即调整模板中表示用户故事的部分。在每个步骤中,模型会进行推理思考、选择合适的行动,然后基于观察到的反馈继续调整推理。原创 2024-09-12 00:11:55 · 825 阅读 · 0 评论 -
GitHub Copilot使用
本文会用更通俗的语言,并提供更全面的用例和具体操作步骤,帮助你更好地使用 Copilot 进行代码编写和优化。原创 2024-09-09 00:03:04 · 1009 阅读 · 0 评论 -
如何用Langchain封装自定义语言模型
为了将一个自定义的语言模型集成到 LangChain 中,你需要创建一个类来继承类,并实现特定的方法。原创 2024-08-13 07:29:47 · 844 阅读 · 0 评论 -
什么是 MLPerf?
MLPerf 是一个用于衡量机器学习硬件、软件和服务性能的标准化基准测试平台。它由 MLCommons 组织开发,该组织是由多家领先的科技公司和学术机构组成的。MLPerf 的目标是通过一系列标准化的基准测试任务和数据集,提供一个统一、客观的框架来评估和比较不同系统在执行机器学习任务时的性能。MLPerf 是一个重要的机器学习性能基准测试平台,通过标准化的任务和数据集,提供了一个统一、客观的框架来评估和比较不同系统的性能。它在推动技术进步、提供客观标准、促进标准化和市场影响力方面具有重要意义。原创 2024-07-21 19:55:34 · 1481 阅读 · 0 评论 -
中文词嵌入模型学习
中文词嵌入模型是一种将中文词语表示为固定维度的向量的技术。这些向量保留了词语之间的语义关系,使得相似的词在向量空间中距离更近。以下是关于中文词嵌入模型的详细介绍,包括其原理、特征以及如何使用。原创 2024-07-19 23:55:01 · 1106 阅读 · 0 评论 -
语料处理流程
处理语料(文本数据)是自然语言处理(NLP)项目中的关键步骤。这个过程通常包括以下几个步骤:数据收集、数据清理、数据预处理、特征提取和数据增强。原创 2024-07-19 23:51:04 · 843 阅读 · 0 评论 -
LlamaInde相关学习
LlamaIndex 是一种工具,旨在通过向量化和索引技术增强大语言模型(LLM)与文档数据交互的效率和准确性。它特别适合在需要高效文档检索和信息查询的场景中使用。原创 2024-07-09 23:57:13 · 528 阅读 · 0 评论 -
结合Langchain来开发一个能够通过POST请求获取GPT回答的智能体
Langchain允许我们自定义链来调用外部API。在这里,我们将定义一个自定义的API链来处理POST请求。# 创建一个自定义函数来处理POST请求# 设定你的API URL和头文件# 定义请求体的模板# 创建一个Langchain的API链# 创建一个提示模板template="请回答以下问题:{input_text}"# 创建链。原创 2024-07-04 22:36:51 · 436 阅读 · 0 评论 -
Mojo 语言是什么?
Mojo 是一种新的编程语言,由Modular团队开发,旨在结合 Python 的易用性和底层系统编程语言的高性能。它尤其注重在 AI 和高性能计算领域的应用。Mojo 的开发目标是解决当前 Python 和 C++ 等语言在性能和开发效率上的不足。Mojo 是一门结合了 Python 的简洁和系统编程语言的高性能特点的新兴语言。它的出现旨在弥补 Python 在高性能计算中的不足,同时保持其开发体验的优势。对于需要高性能和硬件控制的应用,Mojo 提供了一种非常有前景的选择。原创 2024-07-04 00:17:23 · 850 阅读 · 0 评论 -
IPython相关了解
IPython 是一种增强的 Python 交互式解释器,它可以让你更方便地编写、调试和运行 Python 代码。你可以把它想象成一个比普通 Python 解释器更聪明、功能更丰富的工具,非常适合用来进行数据探索、科学计算和原型开发。配置文件你可以编辑 IPython 的配置文件来定制其行为。命令别名和快捷键可以定义自己的命令别名和快捷键,提高工作效率。自定义启动脚本你可以创建一个启动脚本,IPython 启动时自动执行,来加载常用的库和设置。原创 2024-06-28 22:08:32 · 1044 阅读 · 0 评论 -
Scikit-Learn的认识
Scikit-Learn,通常简称为sklearn,是一个基于 Python 的机器学习库。它建立在 NumPy、SciPy 和 Matplotlib 之上,提供了一系列简单高效的工具,用于数据分析和建模。Scikit-Learn 的目标是简单易用,灵活且易于扩展,使其成为机器学习入门和实战的绝佳选择。Scikit-Learn 是一个功能强大且易于使用的机器学习库,非常适合初学者和实践者。通过学习如何加载和预处理数据、选择和训练模型,以及如何评估模型表现,你可以快速掌握机器学习的基础知识,并应用于实际问题。原创 2024-06-28 21:56:31 · 1234 阅读 · 0 评论 -
TTS 语音合成技术学习
TTS 语音合成技术的核心是将书面文字转化为自然流畅的语音。这类似于你在朗读一本书时,把看到的文字通过声音表达出来,让别人听到。这项技术使得计算机能够模仿人类的说话过程,将文本信息以语音形式输出。TTS 技术将书面文字转换为自然流畅的语音,为用户提供了便捷的听觉信息获取方式。无论是在语音助手、导航系统还是教育应用中,TTS 技术都发挥着重要作用。通过选择合适的 TTS 服务或库,并进行适当的编程,你可以轻松地在自己的项目中集成 TTS 功能,为用户带来更丰富的交互体验。原创 2024-06-27 23:09:26 · 1721 阅读 · 1 评论 -
ASR 语音识别相关
想象一下,你在对着手机说话,手机能够理解你说的内容并把它转换成文字,比如发送语音短信,或者让你的语音助手帮你查天气。这背后的技术就是 ASR。原创 2024-06-27 23:01:18 · 1451 阅读 · 0 评论 -
Bigram 分词学习
Bigram 分词是一种将文本划分成一系列连续的两个单词(或字符)组成的词对(bigram)的方法。它是 n-gram 技术中的一个特例,其中 n 为 2。通过分析文本中的二元组合,Bigram 分词可以捕捉到局部的词序信息和短语结构。Bigram 分词在自然语言处理,特别是中文处理中,提供了一种有效的方式来捕捉文本中的局部依赖关系和模式。它在处理汉字组合、减少歧义、适应多样化的语言习惯以及提升语言模型的性能方面有着显著的优势。原创 2024-06-25 23:30:14 · 1425 阅读 · 0 评论 -
3D模型相关生成
3D模型相关生成。原创 2024-06-24 00:03:43 · 1072 阅读 · 1 评论 -
ComfyUI 和 WebUI
ComfyUI:像拼积木一样,你可以用各种“模块”搭建出一个复杂的图像生成“机器”。适合那些喜欢自己动手折腾、希望精确控制每个步骤的人。WebUI:更像是一个智能“图像生成器”,你只需要输入文字描述,它就能生成图片。适合那些想快速得到结果,不想研究复杂流程的人。ComfyUI适合那些需要高度定制和复杂处理的用户,它提供了强大的灵活性,但需要一定的学习和配置。WebUI是一个简单易用的工具,适合那些希望快速生成图像的用户,它操作简单但功能相对有限。原创 2024-06-23 00:20:16 · 1919 阅读 · 0 评论 -
Stable Diffusion Model网站
Civitai Models | Discover Free Stable Diffusion Models https://www.tjsky.net/tutorial/488 https://zhuanlan.zhihu.com/p/610298913 超详细的 Stable Diffusion ComfyUI 基础教程(一):安装与常用插件 - 优设网 - 学设计上优设 (uisdc.com) https://zhuanlan.zhihu.com/p/655249926 Comfy Work原创 2024-06-23 00:19:26 · 153 阅读 · 0 评论 -
Autoencoder(AE)、Variational Autoencoder(VAE)和Diffusion Models(DM)了解
特点 / 模型工作原理编码器将输入映射到低维表示,解码器还原为原始数据。引入概率建模和潜在变量,生成具有多样性的数据样本。通过正向扩散和反向去噪逐步生成高质量的数据样本。优点简单易实现,能有效降维和去噪。能够生成连续和多样性的数据样本。能够处理复杂数据分布和生成高质量样本。缺点学习到的潜在表示可能不稳定,对复杂数据建模有限。训练复杂度高,对高维数据处理能力有限。训练过程复杂,需要处理大量数据和复杂的优化问题。适用场景数据降维、特征学习和部分去噪任务。需要生成连续和多样性数据样本的任务。原创 2024-06-22 08:08:39 · 530 阅读 · 0 评论 -
判别式模型 vs 生成式模型
判别式模型专注于区分类别。它们学习如何根据输入信息来区分不同的类别。类比想象你是一个面试官,你的任务是根据候选人的表现来判断他们是否适合某个职位。你关注的不是候选人从哪里来,而是他们是否符合你的要求。这就是判别式模型在做的事情——根据输入信息判断类别。生成式模型不仅仅是区分类别,它们还能生成新数据,就像一位魔术师,可以凭空变出新的东西。类比想象你是一位艺术家,你不仅能判断一幅画是印象派还是写实派,还能自己创作出一幅新画。生成式模型就是这样,它们不仅能理解数据,还能生成与原始数据相似的新数据。判别式模型。原创 2024-06-22 07:36:25 · 1402 阅读 · 0 评论 -
Beyond VL了解学习
Beyond VL是一种强大的人工智能模型,能够处理和融合来自多种数据模态(例如文本、图像、视频和音频)的信息。它的设计目标是帮助机器更好地理解复杂的多模态内容,并生成具有高度语义和上下文的输出。多模态处理能力可以同时处理来自多个模态的数据。能够在不同模态的数据之间建立联系。高级特征提取提取和理解数据中的核心内容和上下文信息。数据融合和生成将不同模态的数据融合在一起,生成更有意义的输出。Beyond VL 是一种强大的多模态模型,能够处理和融合来自不同模态的数据。原创 2024-06-21 22:35:50 · 1420 阅读 · 0 评论 -
LLaVa的概述
LLaVa (Large Language and Vision Assistant) 是一种先进的多模态人工智能模型,能够同时处理和理解文本和图像。这意味着 LLaVa 可以在同一时间分析来自语言和视觉的输入信息,做出综合判断和生成响应。LLaVa 结合了先进的图像处理和自然语言生成技术,能够理解和生成多模态内容。这种综合能力使得 LLaVa 在许多实际应用中具有强大的潜力,能够提供更智能和丰富的用户体验。原创 2024-06-21 06:41:15 · 1964 阅读 · 0 评论 -
MME测评集的学习
MME 测评集提供了一种系统化的方式来评估多模态模型在不同任务上的表现。通过合理配置和调用相关API,可以高效地测量模型在跨模态理解、生成和一致性方面的能力。无论是研究人员还是工程师,使用 MME 测评集都能帮助更好地理解和改进多模态模型。原创 2024-06-20 21:07:09 · 872 阅读 · 0 评论 -
GPT4v和Gemini-Pro调用对比
适合需要处理复杂自然语言和图像生成任务的场景。调用简单,适用于基于文本和图像的多种应用。Gemini-Pro:适合多模态处理任务,能够处理和集成不同类型的数据(文本、图像、视频、语音)。其强大的跨模态能力使其在需要复杂数据整合和分析的场景中非常有用。两者各有优缺点,选择哪一个取决于具体的应用需求和现有的技术栈。原创 2024-06-19 22:42:10 · 1087 阅读 · 0 评论 -
GPT-4V 和 Gemini对比
GPT-4V适合需要强大文本生成能力和自然多模态融合的任务,适用于高性能计算环境。Gemini则在高效的多模态处理和精确的跨模态对齐方面表现出色,更加适合需要细粒度理解和资源受限的应用场景。这两种模型各有优势,选择使用哪一个取决于具体的应用需求和资源环境。原创 2024-06-18 23:21:11 · 1713 阅读 · 2 评论 -
SiGILP是什么?
SiGILP是一个强大的多模态模型,能够同时理解和生成图像和文本内容。与CLIP相比,SiGILP不仅能匹配图像和文本,还具备生成新内容的能力。使用步骤包括安装依赖、加载模型、处理输入数据、生成和解释输出,以及解析和处理结果。示例代码展示了如何根据文本描述生成与之相关的图像或解释。原创 2024-06-18 23:10:59 · 1311 阅读 · 0 评论 -
clip_en的使用学习
由 OpenAI 提出的 CLIP 模型(Contrastive Language-Image Pretraining)是一个多模态模型,可以将图像和文本编码到同一个向量空间中,从而能够进行图像与文本之间的相似性匹配。通过上述代码和结果的分析,我们可以看出,CLIP 模型在处理多模态任务时具有强大的功能和灵活性,尤其是在不同语言环境下,如中文,通过。是 CLIP 的中文版本,专为支持中文文本和图像之间的匹配而训练。两者的核心思想和模型架构相似,主要区别在于训练语料和处理的语言不同。原创 2024-06-17 23:23:47 · 1262 阅读 · 0 评论 -
CLIP模型调用的一段代码及解释
警告信息:警告提示我们参数在当前环境下无效。可以去掉或检查文档获取更多信息。模型输出的键:提供了模型的多个输出,其中我们主要关注,它表示图像和文本的匹配度得分。相似性概率:显示了每个标签与图像的匹配概率,概率最高的标签表示模型认为最符合图像内容的描述。原创 2024-06-17 00:33:23 · 1720 阅读 · 0 评论 -
CLIP的概念学习
CLIP,全称是“Contrastive Language-Image Pre-training”,是由OpenAI开发的一种能够同时理解文本和图像的人工智能模型。它可以看作是一个桥梁,连接了语言(文字)和视觉(图像)两种信息形式。CLIP通过将图像和文本两种不同的模态整合到一个模型中,能够理解和处理多种复杂任务。它的核心在于使用对比学习来学习图像和文本之间的关系。通过适当的预处理和编码,CLIP能够在图像搜索、图像生成和内容审核等多种实际应用中发挥强大的作用。原创 2024-06-16 18:45:25 · 1680 阅读 · 0 评论 -
RAG下的prompt编写探索
在RAG系统中,编写抽象的prompt需要在提供足够的指导和保持足够的灵活性之间取得平衡。高层次的回答结构:提供一个通用的框架,涵盖从总结问题到提出解决方案的整个过程。整合和分析背景信息:明确如何利用检索到的背景信息来构建连贯的回答。逻辑性和严谨性:确保生成的回答具有逻辑连贯性和技术严谨性。灵活性和适应性:设计prompt使其能够适应不同问题的回答需求,而不仅限于具体的细节。通过这种方式,您可以编写出适用于广泛技术领域的抽象prompt,并帮助生成模型生成高质量的、符合技术严谨性的回答。原创 2024-06-15 23:18:28 · 2071 阅读 · 0 评论 -
基于Transformer的模型常见的张量类型
在自然语言处理(NLP)任务中,特别是使用基于Transformer的模型(如BERT、RoBERTa等)进行微调时,输入数据通常会被编码成几个关键的张量。以下是三个最常见的张量类型:input_ids、attention_mask和labels,它们在预处理阶段生成,并在模型的前向传播中使用。原创 2024-06-10 11:57:14 · 453 阅读 · 0 评论 -
轻量化微调使用场景对比
特性P-TuningLoRAQLoRA调整方式离散的提示词向量连续的提示嵌入向量可学习的前缀向量,插入到每层低秩矩阵分解量化 + 低秩矩阵分解参数量较少较多较少极少(仅低秩矩阵)极少(量化 + 低秩矩阵)微调粒度较粗(提示词级别)较细(嵌入向量级别)深层次(模型各层)低秩近似低精度 + 低秩近似计算开销较低较高较低极低极低适用场景多任务学习、少样本学习、低资源环境复杂任务、深度语义理解高效微调、生成任务、深度信息引导。原创 2024-06-10 10:51:23 · 894 阅读 · 0 评论 -
自注意力机学习
自注意力机制:允许模型在处理一个输入时,同时关注到整个输入序列中的所有其他输入。提高了捕捉长距离依赖关系的能力。Query, Key 和 Value:分别代表当前处理的焦点、其他输入的标识和它们携带的信息。点积注意力:通过计算Query和Key的相似性来确定它们之间的关系强度。缩放:对点积结果进行调整,防止数值过大导致计算不稳定。Softmax 归一化:将相似性得分转化为概率分布,表示每个输入的重要性。原创 2024-06-07 23:22:31 · 849 阅读 · 0 评论 -
Transformer 内部原理学习
Transformer是一个非常强大的模型,它利用自注意力机制、多头注意力机制和前馈神经网络,从多个角度和层次来处理和理解输入数据。通过残差连接和层归一化,它确保了信息在多层处理中能够有效流动和保持稳定。原创 2024-06-07 23:18:07 · 1009 阅读 · 0 评论 -
梳理模型训练入门
层的选择根据数据类型和任务选择适当的层。示例:图像数据使用卷积层,文本数据使用嵌入层和循环层。层的数量和大小根据数据复杂度和计算资源选择适当的层数和每层的神经元数量。太多层可能导致过拟合,太少层可能无法学习到复杂特征。示例:在水果分类项目中,如果图像分辨率较低且数据量较小,可以从简单的FNN开始。若图像分辨率高且数据量大,可以使用CNN来处理图像特征。代码示例self.fc2 = nn.Linear(128, 10) # 假设有10种水果return x。原创 2024-06-06 00:46:29 · 1095 阅读 · 0 评论 -
详细对比模型训练和模型精调
当我们进行模型精调(Fine-Tuning)和模型训练时,我们需要考虑到不同的步骤和目标。原创 2024-06-06 00:32:19 · 1316 阅读 · 0 评论 -
简单的模型训练学习
通过这些步骤,我们实现了一个能够对MNIST手写数字进行分类的神经网络模型,并完成了训练和测试过程。6. **主函数**:设置设备、加载数据、创建模型、定义优化器和损失函数,然后进行训练和测试。3. **定义模型**:构建一个简单的全连接神经网络模型。7. **运行主函数**:确保代码在直接运行时执行主函数。2. **设置参数**:定义训练和测试的相关超参数。4. **定义训练过程**:编写训练模型的逻辑。5. **定义测试过程**:编写测试模型的逻辑。1. **导入库**:引入必要的工具和库。原创 2024-06-05 23:52:44 · 779 阅读 · 0 评论 -
过拟合学习理解
但是,你犯了一个常见的错误——你只专注于书中的那些例子和习题,反复记忆书中的每一个细节,包括书中列出的每个国家的首都、人口、主要城市、河流、山脉,甚至一些特别少见的地理知识,比如某个小镇的名字或是一些罕见的地名。这就是过拟合的比喻。在这个场景中,你就像一个过拟合的模型,你过分地学习了训练数据(复习书中的例子)中的细节,以至于你失去了在新数据(考试题目)上的表现能力。在机器学习中,过拟合意味着模型学习到了训练数据的“噪音”和细微的波动,而不是数据的普遍规律,因此在面对新数据时,模型的表现并不好。原创 2024-06-04 00:26:37 · 876 阅读 · 0 评论 -
PyTorch、显卡、CUDA 和 cuDNN 之间的关系
它会把数据发送到 GPU,使用 CUDA 来控制 GPU 如何执行计算,同时使用 cuDNN 来执行那些预设好的深度学习算法,以达到最快的烹饪速度(计算速度)。总的来说,PyTorch 是一个高级的工具,它让深度学习的专家和新手都能轻松使用 GPU 的强大计算力,就像一位经验丰富的厨师使用先进的厨房设备一样。显卡,特别是 NVIDIA 的 GPU,具有大量的并行处理单元,这些单元可以同时执行大量相似的操作,非常适合进行大规模矩阵运算,如深度学习中的卷积神经网络(CNNs)和循环神经网络(RNNs)的计算。原创 2024-06-03 01:38:57 · 1700 阅读 · 1 评论 -
解决torch.cuda.is_available()一直为false的问题
需要将bin、include、和lib/x86目录中的文件拷贝到亲们cuda安装的对应目录中。3、修改pytorch版本,从cpu版本改为gpu版本。配置成功后,使用nvidia-smi命令检查如下。使用网站上面生成的命令进行安装。执行文章最开始的脚本,结果如下。注意:需要注册才能进行安装。根据驱动选择要安装的版本。原创 2024-06-03 01:01:11 · 607 阅读 · 0 评论