昇腾AI原生创新算子挑战赛（S1赛季）复盘- Addcmul算子

最新推荐文章于 2024-09-07 16:23:34 发布
最新推荐文章于 2024-09-07 16:23:34 发布
阅读量971 收藏 17
点赞数 13
文章标签： AI-native
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiujiti6871/article/details/139366083
版权
  • 很亢奋，今年终迎来了算子大比。在交流前先感谢算子相关工作人员的辛勤付出，才能有牛刀小试的机会，辛苦了
  • 其次，这里分享的个人的一点小小的不成器思路，如果有更好的解题思路，或者优化方案，还望大家多交流，不吝指教

​

  • 具体的Pytorch调用公式如下，公式计算不难
    • 首先要考虑value在Pytorch是标量，但是案例中是tensor
    • 那么我们需要tensor输入转value标量，再调用标量乘法API
    • 通过tiling引入plusvalue变量并输入this->plusvalue

half buf = static_cast<half>(this->plusvalue);
Muls(calcBuf1Local,calcBuf1Local,buf,this->tileLength);复制

cke_33519.png

  • 关于这道题目，官方提供了5个测试案例，个人认为第四题是当仁不让的难中之王，理由如下
    • 需要考虑INT8的格式转换，查找官方文档Muls计算并不支持INT8格式
    • Atlas 200/500 A2推理产品，支持的数据类型为：Tensor（half/int16_t/float/int32_t）
    • 所以个人思路是需要将输入INT8格式转换为half类型或者其他类型，进行运算
    • 最后将运算后的结果重新再转换为INT8格式输出

cke_209979.png

cke_83928.png

  • 具体的一个API思路如下
Cast(calcBuf1Local,x1LocalLocal,RoundMode::CAST_NONE,this->tileLength);
Cast(calcBuf2Local,x2LocalLocal,RoundMode::CAST_NONE,this->tileLength);
    
Mul(calcBuf1Local,calcBuf1Local,calcBuf2Local,this->tileLength);

half buf = static_cast<half>(this->plusvalue);
Muls(calcBuf1Local,calcBuf1Local,buf,this->tileLength);
Cast(calcBuf2Local,input_dataLocal,RoundMode::CAST_NONE,this->tileLength);
Add(calcBuf1Local,calcBuf1Local,calcBuf2Local, this->tileLength);
Cast(yLocal,calcBuf1Local,RoundMode::CAST_CEIL,this->tileLength);复制

  • 类型转换API完成，那么如何嵌入主题代码呢？
  • 个人思路是通过tiling中对类型进行识别再通过 this->inputtype 自定义变量来辨别计算公式
  __aicore__ inline void Process() {

    CopyInit();
    int32_t loopCount = this->tileNumy * BUFFER_NUM;
    if (this->inputtype != 2) {
      for (int32_t i = 0; i < loopCount; i++) {
        CopyIn(i);
        Compute(i);
        CopyOut(i);
      }
    }
    else if (this->inputtype == 2) {
      for (int32_t i = 0; i < loopCount; i++) {
        CopyIn(i);
        Compute_int8(i);
        CopyOut(i);
    }
    }

  }复制

  • 前面提到类型识别，具体API是什么呢？
  • dt 与 数字绑定 在文档里搜索就可以
  auto dt = context->GetInputTensor(0)->GetDataType();//获取DataType类型的属性值。
  tiling.set_inputtype(dt);//如果真要改，这里还要考虑多数据类型的计算
  if (dt == 1) {//DT_FLOAT16 = 1, // fp16 type
    sizeofdatatype = 2;
  }else if (dt == 0) {// DT_FLOAT = 0,  // float type
    sizeofdatatype = 4;
  }else if (dt == 2){ // DT_INT8 = 2,    // int8 type
    sizeofdatatype = 1;
  }else if(dt == 3){ //  DT_INT32 = 3
    sizeofdatatype = 4;
  }else
  {
    return ge::GRAPH_FAILED;
  }复制

  • 解决了类型转换后，最重要的问题就是如何解决｛1，32｝Tensor与｛32，32｝Tensor相乘问题
  • 解决方案就是需要广播，但是不幸的是AscendC广播指令具体API在下一个版本才公布，那么不就是瞎子摸象
  • 个人的思路是只解决二维Tensor之间的乘法，更高维的Tensor暂时不支持
  • 解决方案就是暴力拆解
    • 如果是｛1，32｝1行32列，那么将行复制32次，构成｛32，32｝
    • 如果是｛32，1｝32行1列，那么讲列复制32次，构成｛32，32｝
  • 看上去很简单，但是实施起来还要考虑很多问题
    • GM 与 LocalTensor之间的内存交换问题
    • BUFFER_NUM乒乓操作的内存分割问题
    • tileLength和lasttileLength的内存使用问题
    • 数据对齐后使得blocklength变大，取值难度增加问题
  • 这里只粘贴部分代码展示思路
 if (BUFFER_NUM == 2) {
      //开启double
      //buffer时，由于将输入数据分成了相等的2部分，分块大小为不开启double
      //buffer的一半， 所以需要对最后两个分块数据的起始地址做处理
      if ((progress == (this->tileNumy * BUFFER_NUM - 2)) ||
          (progress == (this->tileNumy * BUFFER_NUM - 1))) {
        //分块大小变为tileLength的一半
        //倒数第2个分块数据的起始地址向前移动（tileLength-lasttileLength)，最后一个分块的起始地址以此为基础进行移动

        // DataCopy(inLocal[this->tileLength + this->tileLength1],x2Gm[(progress - 2) * (this->tileLength2) + this->lasttileLength2],(this->tileLength2));
        if(this->OneX2Buf[1] == 1)
        {
          // DataCopy(inLocal[this->tileLength + this->tileLength1],x2Gm[((progress - 2) * (this->tileLengthy) + this->lasttileLengthy)%(this->axis0)], this->tileLengthy);
          for (i = 0;i<this->tileLengthy;i++)
          {
            inLocal.SetValue(this->tileLength + this->tileLength1 + i,x2Gm.GetValue(((progress - 2) * (this->tileLengthy) + this->lasttileLengthy+i)%(this->axis0)));
          }
        }
        else if(this->OneX2Buf[0] == 1)
        {
          if(((progress + 1)* this->tileLengthy) > (this->axis0 * this->axisy))
          {
            for (i = 0;i<(this->axis0 * this->axisy - ((progress)* this->tileLengthy));i++)
            {
              inLocal.SetValue(this->tileLength + this->tileLength1 + i,x2Gm.GetValue(this->axisy-1));
            }
            for (i = 0;i<(((progress + 1)* this->tileLengthy) - this->axis0 * (this->axisy));i++)
            {          
              inLocal.SetValue(this->tileLength + this->tileLength1 + i + (this->axis0 * this->axisy - ((progress)* this->tileLengthy)),x2Gm.GetValue(this->axisy));
            }
            this->axisy = this->axisy + 1;
          }
          else if (((progress + 1)* this->tileLengthy) == (this->axis0 * this->axisy))
          {
            for (i = 0;i<this->tileLengthy;i++)
            {
              inLocal.SetValue(this->tileLength + this->tileLength1 + i,x2Gm.GetValue(this->axisy-1));
            }
            this->axisy = 1;
          }
          else if (((progress + 1)*this->tileLengthy) < (this->axis0 * this->axisy))
          {
            for (i = 0;i<this->tileLengthy;i++)
            {
              inLocal.SetValue(this->tileLength + this->tileLength1 + i,x2Gm.GetValue(this->axisy-1));
            }
          }
        }
        else{
          DataCopy(
              inLocal[this->tileLength + this->tileLength1],
              x2Gm[(progress - 2) * (this->tileLengthy) + this->lasttileLengthy],
              (this->tileLengthy));
        }        
      }
      else {
        // inLocal.SetValue(this->tileLength + this->tileLength1+i,calcBuf4Local.GetValue(progress * this->tileLengthy +i));
        if(this->OneX2Buf[1] == 1)
        {
          // DataCopy(inLocal[this->tileLength + this->tileLength1],x2Gm[((progress )* this->tileLengthy)%(this->axis0)], this->tileLengthy);
          for (i = 0;i<this->tileLengthy;i++)
          {
            inLocal.SetValue(this->tileLength + this->tileLength1 + i,x2Gm.GetValue(((progress )* this->tileLengthy + i)%(this->axis0)));
          }
        }
        else if(this->OneX2Buf[0] == 1)
        {
          if(((progress + 1)* this->tileLengthy) > (this->axis0 * this->axisy))
          {
            for (i = 0;i<(this->axis0 * this->axisy - ((progress)* this->tileLengthy));i++)
            {
              inLocal.SetValue(this->tileLength + this->tileLength1 + i,x2Gm.GetValue(this->axisy-1));
            }
            for (i = 0;i<(((progress + 1)* this->tileLengthy) - this->axis0 * (this->axisy));i++)
            {          
              inLocal.SetValue(this->tileLength + this->tileLength1 + i + (this->axis0 * this->axisy - ((progress)* this->tileLengthy)),x2Gm.GetValue(this->axisy));
            }
            this->axisy = this->axisy + 1;
          }
          else if (((progress + 1)* this->tileLengthy) == (this->axis0 * this->axisy))
          {
            for (i = 0;i<this->tileLengthy;i++)
            {
              inLocal.SetValue(this->tileLength + this->tileLength1 + i,x2Gm.GetValue(this->axisy-1));
            }
            this->axisy = this->axisy + 1;
          }
          else if (((progress + 1)*this->tileLengthy) < (this->axis0 * this->axisy))
          {
            for (i = 0;i<this->tileLengthy;i++)
            {
              inLocal.SetValue(this->tileLength + this->tileLength1 + i,x2Gm.GetValue(this->axisy-1));
            }
          }
        }
        else{
          DataCopy(inLocal[this->tileLength + this->tileLength1],x2Gm[progress * this->tileLengthy], this->tileLengthy);
        }
        
      }
    }


    inQueueIN.EnQue(inLocal);
  }复制

  • 解决了这个问题后还有一个大问题需要解决
    • Tensor的范围是【-10，10】
    • 这就有问题了，可能会超过范围，那么溢出时，得到数值是多少，会跟C编译器一样吗？
    • 这个见文档可知，cast 将src按照round_mode取整，以int8_t格式（溢出默认按照饱和处理）2^7-1存入dst中
    • 这里本人并没有着手处理，只是修改范围【-5，5】然后测试

  • 在编程过程中肯定遇到很多迷之BUG，那么如何定位呢？
    • op_host直接printf
    • op_kernel ，dump_tensor-PRINTF本版本暂不支持，只能看看/var/log/npu/slog/debug/device-app-974443
      • 但是个人看来，定位能力还是较弱
      • 如果有更好定位方式，望告知

  • 最后展示下5个测试案例的测试结果
  • 案例一

 

cke_1819397.png

  • 案例二

cke_1835269.png

  •  案例三

cke_1877908.png

  • 案例四

cke_1898725.png

  • 案例五

cke_1915215.png

william_myq
关注
极智AI | 昇腾算子开发工程目录
极智视界
10-31 193
大家好，我是极智视界，本文介绍一下 昇腾算子开发工程目录。
升腾高拍仪-PY-101驱动以及软件
01-28
升腾高拍仪-PY-101驱动以及软件
昇腾AI原生创新算子挑战赛（S1赛季）复盘-GreaterEqual算子
xiujiti6871的博客
05-31 371
顺带提一嘴，这个知识点还有如何输出+INF，-INF，NAN类型，可以顺带回忆一下。
torch.addcdiv(input, value=1, tensor1, tensor2, out=None)的使用举例
敲代码的小风
01-25 454
参考链接: addcdiv(value=1, tensor1, tensor2) → Tensor 参考链接: torch.addcdiv(input, value=1, tensor1, tensor2, out=None) → Tensor 实验代码展示: Microsoft Windows [版本 10.0.18363.1316] (c) 2019 Microsoft Corporation。保留所有权利。 C:\Users\chenxuqi>conda activate ssd4pytor
pytorch addcmul函数用法
shuaibuzhi1mian的博客
07-18 1952
介绍pytorch中addcmul函数的用法，用公式和代码共同说明。
昇腾AI原生创新算子挑战赛（S1赛季）复盘-LpNormV2算子
xiujiti6871的博客
06-01 576
【代码】昇腾AI原生创新算子挑战赛（S1赛季）复盘-LpNormV2算子。
昇腾AI原生创新算子挑战赛（S1赛季）复盘- MseLoss算子
xiujiti6871的博客
06-01 212
【代码】昇腾AI原生创新算子挑战赛（S1赛季）复盘- MseLoss算子。
Asced c 算子开发入门 （硬件平台昇腾910A）
weixin_42140974的博客
12-27 943
Asced c 算子开发、昇腾910 、pytorch迁移训练
升腾高拍仪-PY-101使用说明书
01-28
* Python 是一种高级的、解释性的编程语言，广泛应用于后端开发、数据分析、人工智能等领域。 * Python 的优点包括易于学习、灵活性高、开发效率高、可读性强等。 二、 升腾高拍仪-PY-101 概述 * 升腾高拍仪-PY-...
算子开发实战，探秘昇腾芯片编程.pdf
09-23
算子开发实战，探秘昇腾芯片...Ascend 芯片架构设计灵活高效算力密度高昇腾AI 软件栈不支持模型中的算子开发者想要修改现有算子中的计算逻辑开发者想要自己开发算子来提高计算性能自定义算子开发：让你的模型跑得更快！
升腾c92BIOS-用于不能usb启动的情况
10-23
升腾c92BIOS，用于usb不能启动的情况 使用方法： U盘格式化为fat32，放入解压的文件 插入c92，f2进bios，选择save&exit中的倒数第二项 命令输入map，查看自己的U盘，比如盼复fs0 输入fs0: ls看下对不对，有没bios...
一文说清什么是AI原生（AI Native)应用以及特点
lifetragedy的专栏
09-07 821
一文说清什么是AI原生应用(AI Native）以及AI原生应用的特点及要求。
08-React redux
09-14
redux 相关代码以及 redux 开发者工具
C#中的数据库迁移是如何实现的
09-14
在C#中，数据库迁移是Entity Framework（EF）的一个核心功能，它允许开发者通过代码变更来更新数据库结构。以下是如何在C#中使用Entity Framework实现数据库迁移的详细步骤和代码示例。 Entity Framework的迁移功能为C#开发者提供了一种强大的工具，用于管理和应用数据库架构的变更。通过上述步骤和命令，可以在开发过程中轻松地同步模型和数据库的更改。在实际开发中，应确保在应用迁移之前充分测试，以避免数据丢失或不一致的问题。 在C#中，数据库迁移是Entity Framework（EF）的一个核心功能，它允许开发者通过代码变更来更新数据库结构。以下是如何在C#中使用Entity Framework实现数据库迁移的详细步骤和代码示例。 Entity Framework的迁移功能为C#开发者提供了一种强大的工具，用于管理和应用数据库架构的变更。通过上述步骤和命令，可以在开发过程中轻松地同步模型和数据库的更改。在实际开发中，应确保在应用迁移之前充分测试，以避免数据丢失或不一致的问题。
RS485数据收发程序示例
09-14
RS485数据收发程序示例
基于ssm的闲置图书分享平台系统设计与实现.docx
最新发布
09-14
基于ssm的闲置图书分享平台系统设计与实现.docx
C#中的Lambda表达式：简化委托与表达式树
09-14
在C#编程语言中，Lambda表达式提供了一种简洁的方式来表示匿名函数，即没有具体名称的函数。Lambda表达式在C# 3.0中引入，作为.NET Framework的一部分，它们在LINQ（Language Integrated Query）查询中尤其有用，但也可以用于任何需要委托类型的地方。 Lambda表达式是C#中一个非常强大和灵活的特性，它允许以简洁的方式编写匿名函数。Lambda表达式可以用于委托、表达式树、LINQ查询等多种场景。通过使用Lambda表达式，开发者可以编写更加简洁、可读和可维护的代码。理解Lambda表达式的工作原理和使用场景对于编写高效的C#程序至关重要。 在C#编程语言中，Lambda表达式提供了一种简洁的方式来表示匿名函数，即没有具体名称的函数。Lambda表达式在C# 3.0中引入，作为.NET Framework的一部分，它们在LINQ（Language Integrated Query）查询中尤其有用，但也可以用于任何需要委托类型的地方。 Lambda表达式是C#中一个非常强大和灵活的特性，它允许以简洁的方式编写匿名函数。Lambda表达式可以
Web实验报告Web实验报告pdf
09-14
设计制作一个《网页设计与制作》精品课程网站 二.实验要求: (1)站点目录:要求层次分明，不能将内容都放在站点根目录下;不要使用中文;为每种类型文件都建立一个独立的目录。(例如images文件夹用于存放图象,目录的层次 不能没有，但必须尽量少，以便于管理.) (2)填写网站设计报告:必须认真填写网站设计报告中的每一项，完成网站结构的设计说明，包括以下各项内容: 1)网站主题:必须围绕一个确定主题创建网站，否则成绩以不及格计。 2)站点名称:必须为自己的站点命名，名称要紧扣站点主题，并反映在每个网页上。 3)站点根文件夹:以个人学号及姓名命名。 4)文件与文件夹:网站内使用的图片放在images文件夹中,主页以index.htm命名,其它文件夹自已命名,要以有意义的英文字母来命名,不要使用中文,网页文件也要使用有意义的英文来命名。 5)站点结构:分类存放网站中的资源，一律以树型目录结构表示并说明文件夹的用途。 6)站点地图:以结构图方式给出网页的名称和各页面间的超级链接。
视频网站系统 基于Springboot和Mysql的视频网站系统代码 ，包括程序，中文注释，配置说明操作步骤
09-14
视频网站系统-视频网站系统-视频网站系统-视频网站系统-视频网站系统-视频网站系统-视频网站系统-视频网站系统-视频网站系统-视频网站系统-视频网站系统-视频网站系统 1、资源说明：视频网站系统源码，本资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 2、适用人群：计算机相关专业(如计算计、信息安全、大数据、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工等学习者，作为参考资料，进行参考学习使用。 3、资源用途：本资源具有较高的学习借鉴价值，可以作为“参考资料”，注意不是“定制需求”，代码只能作为学习参考，不能完全复制照搬。需要有一定的基础，能够看懂代码，能够自行调试代码，能够自行添加功能修改代码。 4. 最新计算机软件毕业设计选题大全(文章底部有博主联系方式): https://blog.csdn.net/2301_79206800/article/details/135931154 技术栈、环境、工具、软件： ① 系统环境:Windows ② 开发语言：Java ③ 框架：SpringBoot ④ 架构:B/S、MVC ⑤ 开发环境:IDE
升腾ai处理器架构与编程 pdf
12-13
《升腾AI处理器架构与编程》是一本介绍升腾AI处理器的架构和编程方法的书籍。升腾AI处理器是华为推出的人工智能处理器，其架构和编程方法对于深度学习和人工智能应用有着重要的意义。 该书首先介绍了升腾AI处理器的基本架构和特点，包括处理器的整体结构、计算单元和存储单元的设计。接着通过实际案例和应用场景，详细解释了如何进行升腾AI处理器的编程和优化。书中还深入讲解了在不同场景下的性能优化技巧和编程模型，帮助读者更好地理解和应用升腾AI处理器。 对于想要深入了解和应用升腾AI处理器的人来说，《升腾AI处理器架构与编程》是一本非常实用的参考书。通过学习该书，读者可以系统地掌握升腾AI处理器的架构和编程方法，从而更好地应用该处理器进行人工智能和深度学习的开发工作。 总之，该书对于了解和应用升腾AI处理器的人具有重要的参考价值，是一本理论和实践相结合的优秀著作。通过学习该书，读者不仅可以深入了解升腾AI处理器的架构和编程方法，还可以通过实际案例更好地掌握处理器的应用技巧，为人工智能领域的实际工作提供有力的支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值