AI机器智能
文章平均质量分 91
kingking44
这个作者很懒,什么都没留下…
展开
-
谈一谈TVM编译工程师的修炼手册
TVM 之所以被称为编译器,是因为它提供了从模型表示到硬件特定代码生成的完整编译链。在这个过程中,TVM 执行了诸如优化、调度、代码生成等传统编译器的任务,并最终生成了可以在目标硬件上高效运行的代码。每次加载和运行 ONNX 模型时,如果有变化或需要优化,可能会重新编译代码以适应新的硬件配置或运行时环境。编译工程师的工作涉及编译器的开发、硬件适配、代码优化以及性能调优等多个方面。特别是在 NPU 这样的硬件平台上,编译工程师的工作对充分利用硬件资源、提升深度学习模型的执行效率至关重要。原创 2024-08-15 09:50:53 · 1057 阅读 · 0 评论 -
windows 安装TVM
TVM支持在Windows环境下使用,但需要一些额外的配置。以下是如何在Windows Python环境中安装TVM的详细步骤。原创 2024-08-14 17:01:23 · 703 阅读 · 0 评论 -
计算图优化有哪些=>举例说明
计算图优化在提升深度学习模型执行效率上发挥着至关重要的作用。TVM通过多种优化策略,如常量折叠、算子融合、子图分割和内存优化,实现了高效的模型推理能力。相比于框架级和手写代码优化,TVM提供了更高的灵活性和自动化能力,特别适合异构计算环境和不同硬件后端的需求。原创 2024-08-14 15:14:01 · 525 阅读 · 0 评论 -
简述cuBLAS相关函数原型(附属工具): 矩阵乘法函数 `cublasSgemm` 和 `cublasDgemm` + 复数矩阵乘法函数 `cublasCgemm` 和 `cublasZgemm`
这两行代码将和重定向到它们的 v2 版本和。这样,当程序中调用或时,实际上调用的是 v2 版本。这两行代码将和重定向到它们的 v2 版本和。这样,当程序中调用或时,实际上调用的是 v2 版本。原创 2024-07-29 10:38:54 · 766 阅读 · 0 评论 -
TVM、LLVM、CUDA 是三个不同的项目或技术
TVM:主要用于优化和部署深度学习模型,支持多种硬件后端,包括CPU和GPU。LLVM:一个通用的编译器框架,用于开发编译器和相关工具,支持多种编程语言和硬件架构。CUDA:NVIDIA的并行计算平台和编程模型,用于在GPU上进行通用计算,显著提高计算密集型任务的性能。通过将这三者结合起来,开发者可以实现从深度学习模型的优化编译到高效的GPU加速计算,充分利用各种硬件平台的计算能力。原创 2024-07-26 17:52:52 · 516 阅读 · 0 评论 -
利用CUDA优化Transformer在时间序列预测中的训练
使用PyTorch的CUDA接口,将模型和损失函数定义在GPU上,并在GPU上进行前向传播和反向传播计算。原创 2024-07-25 13:57:18 · 546 阅读 · 0 评论 -
Transformer在时间序列预测上的应用1
Transformer最初是为了处理自然语言处理(NLP)任务而设计的,但由于其独特的架构和能力,它也被用于时间序列分析。Transformer应用于时间序列分析中的基本思想在于其自注意力机制,这使其能够有效捕捉时间序列数据中的长期依赖关系。通过并行处理能力和位置编码,Transformer不仅提高了处理效率,而且确保了时间顺序的准确性。其灵活的模型结构允许调整以适应不同复杂度。本文将探讨Transformer在时间序列预测上的应用,并通过定制化训练个人数据集,利用Python和PyTorch进行实现。原创 2024-07-24 14:41:48 · 617 阅读 · 0 评论 -
学习笔记:能用20-50个模型说明tensorflow?
TensorFlow 是一个广泛应用于机器学习和深度学习的开源框架,提供了丰富的功能和工具来构建和训练神经网络模型。先来 20 个 TensorFlow 相关的实现示例,每个示例都包含基本的调用范例:线性回归模型:卷积神经网络(CNN):循环神经网络(RNN):生成对抗网络(GAN):自编码器(Autoencoder):预训练模型迁移学习:K-Means 聚类:**Word2Vec**:序列到序列模型:多层感知机(MLP):自定义损失函数:原创 2024-04-12 12:34:01 · 1069 阅读 · 0 评论 -
学习笔记:讲一讲神经网络相关概念
将训练好的模型应用于实际场景中的过程,包括模型转换、优化和部署。:解释模型的预测结果、行为和决策过程,以增强模型的可信度和透明度。:一种用于加速神经网络训练过程的技术,通过标准化神经网络的输入。:学习如何学习的学习过程,通过从不同任务中学习通用的知识和策略。:通过利用一个任务的学习结果来改善另一个相关任务的学习的方法。:结合多个模型的预测结果来提高整体性能的技术,如投票、平均等。:通过利用一个任务的学习结果来改善另一个相关任务的学习的方法。:结合多个模型的预测结果来提高整体性能的技术,如投票、平均等。原创 2024-04-12 10:01:21 · 563 阅读 · 0 评论 -
AI agent 是什么?
AI(人工智能)代理(Agent)通常指的是一个程序或系统,能够在环境中感知并采取行动以达成特定目标的实体。它们是设计用来执行某些任务或解决问题的智能实体。AI代理可以是简单的,比如执行特定的规则或指令,也可以是复杂的,能够通过学习和适应来改进其行为。:AI代理能够感知其周围环境的状态,通常通过传感器或其他数据来源收集信息。:AI代理能够基于其感知到的环境信息采取行动,通常通过某种形式的决策制定机制来选择合适的行动。:某些AI代理能够通过与环境的交互或数据的分析来改进自己的性能,这种能力称为学习能力。原创 2024-04-08 17:39:41 · 1645 阅读 · 0 评论 -
举例说明:pytorch整体框架!!!
计算图是一种数据结构,用于表示数学表达式中各个变量之间的关系以及计算过程。在深度学习中,计算图是用来描述神经网络模型的计算过程的一种形式。计算图由节点和边组成,其中节点表示变量或者操作,边表示变量间的依赖关系。在前向传播过程中,计算图从输入开始,按照一定的顺序经过一系列的操作,最终得到输出。在反向传播过程中,计算图则从输出开始,沿着与前向传播相反的方向,计算各个变量的梯度。在 PyTorch 中,每次进行张量运算时都会构建一个计算图,用于记录操作的历史,以便在需要时进行梯度计算。原创 2024-04-08 17:22:30 · 1213 阅读 · 0 评论 -
全网强烈推荐-详细的图解Transformer ((好多图))
解码器堆栈输出一个浮点数向量。我们如何将其转换为一个单词?这是最终的线性层和其后的Softmax层的工作。线性层是一个简单的全连接神经网络,它将解码器堆栈产生的向量投影到一个远远更大的向量中,称为对数向量。假设我们的模型知道10,000个独特的英文单词(我们模型的“输出词汇”),它从训练数据集中学到了这些单词。这将使得对数向量的宽度为10,000个单元 - 每个单元对应于一个独特单词的分数。这就是我们如何解释线性层后模型的输出的。翻译 2024-04-08 14:18:23 · 74 阅读 · 0 评论 -
怎么就需要一组固定:查询(Query)、键(Key)、值(Value)+ 简简单单说明它们之间有什么差异和作用
在预训练模型 GPT(Generative Pre-trained Transformer)中,初始的 ( Q )、 ( K )、 ( V ) 值通常是通过输入序列中的词嵌入(Word Embeddings)以及位置编码(Positional Encoding)生成的。这些输入在模型训练之前是固定的,但它们是通过训练过程中学习到的。总之, ( Q )、 ( K )、 ( V ) 在模型训练之前是固定的,但它们的值是通过模型参数学习得到的,并且在训练过程中会根据训练数据进行调整,以适应任务的要求。原创 2024-04-02 15:08:34 · 889 阅读 · 1 评论 -
AI技术快速发展,作为个人,如何跨过焦虑难以跟上AI的发展?
最后,要明白在学习的过程中,不仅仅是获取知识,更重要的是培养自己的思维能力和解决问题的能力。总的来说,虽然跟上 AI 技术的发展可能会带来一定的压力和挑战,但通过积极的学习态度、善用资源、保持好奇心和培养解决问题的能力,我们可以更好地应对这些挑战,并不断提升自己的竞争力和适应能力。另外,要保持好奇心和求知欲。因此,要保持开放的心态,愿意接受新的知识和挑战,不断地探索和学习。以上是一些推荐的书籍、在线资源以及当前主流技术栈,每个技术栈都有相关的学习材料和实践资源,希望能够帮助你更好地学习和掌握相关技能。原创 2024-03-28 10:15:28 · 522 阅读 · 1 评论 -
举个例子:说明transformer的多头注意力思路
通过以上步骤,我们演示了Transformer模型中的自注意力机制和多头注意力机制的具体应用过程。通过自注意力机制,每个单词都能够关注到句子中的所有其他单词,通过多头注意力机制,我们能够学习到不同方面的语义信息,并将它们整合到最终的表示中。原创 2024-03-21 14:24:24 · 981 阅读 · 1 评论 -
TensorFlow与Transformer异同-追加阅读Pytorch实现chatGPT
TensorFlow是一个开源的机器学习框架,由Google开发并维护。它提供了一种灵活且高效的方式来构建和训练各种机器学习模型。TensorFlow以数据流图的形式表示计算任务,其中节点表示操作,边表示数据流。TensorFlow的基本概念包括以下几个要点:张量(Tensors):TensorFlow使用张量作为数据的基本单位。张量是一个多维数组,可以表示各种类型的数据,如标量、向量、矩阵等。原创 2024-03-20 10:16:05 · 942 阅读 · 2 评论