简历项目总结

最新推荐文章于 2024-03-28 11:15:00 发布
最新推荐文章于 2024-03-28 11:15:00 发布
阅读量1k 收藏 20
点赞数 22
文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52758467/article/details/136306296
版权

1.基于opencv的缺陷检测

1.基于opencv DNN模块的UNet道路裂纹检测 

  1. 对输入图像进行预处理，转为模型需要的输入格式数据（根据模型文件.onnx文件可以知道模型对输入数据的要求。）
  2. dnn::readNetFromONNX 读取模型完成推理与预测
  3. 解析输出结果（.onnx文件可以知道模型输出内容 例如name:203,type:float32[1,2,320,480], 这里的2表示背景和裂纹两个通道的预测得分，（二分类）通过比较两个得分哪个大，就知道是背景还是裂隙）
  4. 通过轮廓发现函数提取UNet模型推理之后的裂纹并绘制轮廓。（需要将result转为CV_8U）

 2.基于opencv 差分图像二值分析的刀片缺陷检测 

  1. 获取中间的ROI部分，对ROI部分进行轮廓发现与分析，获得每个刀片的位置。
  2. 对每个刀片根据二位模板计算差分图像。
  3. 对差分图像进行轮廓发现与分析找到华和与缺陷。

2.基于CUDA和openmp的近似最近邻检索

分别实现了基于kmeans++和kmeansⅡ的乘积量化PQ和向量量化VQ

1.VQ (两层VQ) 

  1. 聚类两次
  2. 依次计算与聚类中心的距离，该聚类中心所属的向量的距离。

2.PQ 

  1. M*96维向量可以分为3组32维或6组16维向量。 M*3*32
  2. 对每组做聚类，聚K类，得到K*3。用聚类中心代替原始向量。
  3. 查询向量同样分为3段，每段计算与聚类中心的距离。得到3组M个距离。
  4. 将3组距离相加得到M个距离再排序，得到topK.

3.kmeans++和kmeansⅡ

kmeansⅡ

  1. 初始一个聚类中心，最终生成l*iteration_times个聚类中心（2k*5个）
  2. 计算原始向量集到当前聚类中心集距离总和
  3. 计算所有向量可以加入聚类中心集的概率：2k*向量到聚类中心集的距离（到所有聚类中心距离的最小值）/第二步的距离总和。
  4. 取2k个加入聚类中心集，迭代5次得到2k*5个聚类中心。

k-means++算法选择初始聚类中心的基本原则是：初始的聚类中心之间的相互距离要尽可能的远。它选择初始聚类中心的步骤是：

  • 1）从输入的数据点集合中随机选择一个点作为第一个聚类中心c1​ ；
  • 2）对于数据集中的每一个点x，计算它与最近聚类中心(指已选择的聚类中心)的距离D(x)，并根据概率选择新的聚类中心ci​ ；
  • 3）重复过程（2）直到找到k个聚类中心。

关于第二步：

  1. 先得到每个数据点的权重（kmeansⅡ得到聚类中心的所属向量的个数）
  2. 对于每个点计算 概率：  当前点的权重*当前点到已选择的聚类中心集的距离 / 所有数据点到已选择的聚类中心集的距离和 
  3. 根据概率选择最大的，依次选择K个。然后进行普通的kmeans得到最终的K个聚类中心

3.基于毕昇C++的异构算子迁移

将图像处理库ITK中的itkSimilarityIndexImageFilter算子迁移到华为毕晟服务器上并且实现异构并行计算。相较于原算子实现了数十 倍的性能提升。

第一步：

        vec_mul(vc, va, vb);

        vec_cmp<EQ>(va, v_a_0);
        vec_select(dst_a, v_a_0, v_a_1);
        vec_cmp<EQ>(vb, v_b_0);
        vec_select(dst_b, v_b_0, v_b_1);
        vec_cmp<EQ>(vc, v_a_0);
        vec_select(dst_intersection, v_a_0, v_a_1);
……
//主机端
for(int i = 0; i <= M * N; i++ ){

      if(get_A[i] != 0){
        m_CountOfImage1[threadId]++;
      }

      if(get_B[i] != 0){
        m_CountOfImage1[threadId]++;
      }

      if(get_intersection[i] != 0){
        m_CountOfImage1[threadId]++;
      }
      
    }

问题：vec_select，vec_cmpv有数据上限限制，结果要放到128位寄存器里，主机端相加慢

第二步：利用vec_cross_add向量求和。

        vec_cmp<EQ>(va, v_0);
        vec_select(dst_a, v_0, v_1);
        vec_cmp<EQ>(vb, v_0);
        vec_select(dst_b, v_0, v_1);

        vec_mul(vc, va, vb);
        vec_cmp<EQ>(vc, v_0);
        vec_select(dst_intersection, v_0, v_1);

        //向量求和
        vec_cross_add(res1.data(), dst_a);
        vec_cross_add(res2.data(), dst_b);
        vec_cross_add(res_intersection.data(), dst_intersection);

问题：输入device端的数据必须是常量表达式，但是itk返回类型又不是常量。（申请的vector大小必须是已知的）

第三步：划分group成功。

第四步：

  1. 毕昇向量vector.load() 和 store() 完成后，原数组会发生转置。

  2. 之前数据出现乱码原因： memcpy() 是异步执行，必须得wait() 同步。Q.launch<>(){}前后使用Q.wait()同步

第五步：

使用vec_cmpv代替vec_cmp ，并用std::bitset<8>.count()方法代替select

        bisheng::vector<uint8_t, unitLength / 8> cmpMask_a;
        bisheng::vec_cmpv<GT>(cmpMask_a, va, v_0);
        bisheng::vector<uint8_t, unitLength / 8> cmpMask_b;
        bisheng::vec_cmpv<GT>(cmpMask_b, vb, v_0);
        vec_mul(vc, va, vb);
        bisheng::vector<uint8_t, unitLength / 8> cmpMask_c;
        bisheng::vec_cmpv<GT>(cmpMask_c, vc, v_0);

        for(int i = 0; i < unitLength / 8; ++i){

          std::bitset<8> binary_a( cmpMask_a[i] );
          int num_ones_a = binary_a.count();

          std::bitset<8> binary_b( cmpMask_b[i] );
          int num_ones_b = binary_b.count();

          std::bitset<8> binary_c( cmpMask_c[i] );
          int num_ones_c = binary_c.count();

          res1[0] += num_ones_a;
          res2[0] += num_ones_b;
          res_intersection[0] += num_ones_c;

        }

4.基于AscendC的MatmulPrelu融合算子开发 

修改 AscendC的 MatmulLeakyRelu  工程样例，参考 Ascend  社区算子开发文档，利用矢量计算 API  实现 MatmulPrelu  融合算子开发。npu  仿真性能达到1500000tick。

AscendC端到端算子开发工程：

创建算子工程：

  1. 修改add_custom.json内容，报错算子输入输出的名字、数量和类型
  2. 利用msopgen生成创建算子工程  
    msopgen gen -i add_custom.json -c ai_core-<soc_version> -lan cpp -out   $HOME/sample/AddCustom
  3. 编写 
    CMakePresets.json // 编译配置项
    op_host                      // host侧实现文件
│   ├── add_custom_tiling.h    // 算子tiling定义文件
│   ├── add_custom.cpp         // 算子原型注册、shape推导、信息库、tiling实现等内容文件
    op_kernel                   // kernel侧实现文件 
│   ├── add_custom.cpp        // 算子核函数实现文件
  4. op_kernel/add_custom.cpp // 算子核函数实现文件: 编写算子类、进行核函数的定义，并在核函数中调用算子类的Init和Process函数。
  5. op_host/add_custom_tiling.h // 算子tiling定义文件：实现数据切分和分块的过程。
  6. 在“add_custom.cpp”文件中实现算子的shape推导，多算子融合的话，对算子中间的Tensor shape以及dtype进行推导，1.可以提前为所有张量静态分配内存，避免动态内存分配带来的开销。2.可以让我们在图执行之前，就知道各Tensor的数据类型和形状，提前校验其正确性
  7. 进行算子原型注册。修改“add_custom.cpp”文件中的算子原型注册，此函数为入口函数。

算子工程编译部署 

  1. 修改CMakePresets.json中ASCEND_CANN_PACKAGE_PATH为CANN软件包安装路径
  2. ./build.sh 进行算子工程编译。生成一个自定义算子安装包custom_opp_<target os>_<target architecture>.run
  3. 在自定义算子包所在路径下./custom_opp_<target os>_<target architecture>.run安装自定义算子
  4. 命令执行成功后，自定义算子包中的相关文件将部署至当前环境的OPP算子库的vendors/customize目录中，如果用户部署多个自定义算子包，可通过如下命令指定路径安装：./custom_opp_<target os>_<target architecture>.run --install-path=<path>

tiling注册与实现

标量运算，尽量在CPU侧执行。

数据对齐到一个data block（32B）：

注册：

1.首先完成算子TilingData结构定义头文件的编写，该文件命名为“算子名称_tiling.h”

设置总计算量和每个核上总计算数据分块的个数

定义结构：

BEGIN_TILING_DATA_DEF(TilingData)               // 注册一个tiling的类，以tiling的名字作为入参
  TILING_DATA_FIELD_DEF(uint32_t, totalLength); // 添加tiling字段，总计算数据量
  TILING_DATA_FIELD_DEF(uint32_t, tileNum);     // 添加tiling字段，每个核上总计算数据分块个数
END_TILING_DATA_DEF;

 注册TilingData结构：

// 注册算子tilingdata类到对应的AddCustom算子
REGISTER_TILING_DATA_CLASS(AddCustom, TilingData)
//第一个参数为op_type(算子类型),第二个参数为TilingData的类名

实现：

完成算子host实现cpp文件中Tiling函数实现，该文件命名为“算子名称.cpp”

tiling.h定义了TilingData的类，此时可以用TilingData定义一个具体的实例。

设置TilingData的totallength、tilenum等字段值。

// 用TilingData定义一个具体的实例
TilingData tiling;
// 设置TilingData
tiling.set_totalLength(totalLength);
tiling.set_tileNum(TILE_NUM);

通过调用TilingData类的SaveToBuffer接口完成TilingData的序列化和保存。

// 序列化并保存
tiling.SaveToBuffer(context->GetRawTilingData()->GetData(), context->GetRawTilingData()->GetCapacity());
context->GetRawTilingData()->SetDataSize(tiling.GetDataSize());

非对齐shape：

数据不对齐，有的核就要多算一个数据块（最小单位ALIGNNUM），

tingling结构就要配置好参数：分配较多数据量的核的总数据块数量

分配较少数据量的核的总数据块数量

分配较多数据量的核的总数据长度

分配较少数据量的核的总数据长度

定义和注册算子需要使用的tiling参数，

#ifndef ADD_CUSTOM_UNALIGN_TILING_H
#define ADD_CUSTOM_UNALIGN_TILING_H
#include "register/tilingdata_base.h"
namespace optiling {
BEGIN_TILING_DATA_DEF(TilingDataUnalign)
  TILING_DATA_FIELD_DEF(uint32_t, formerNum); // 添加tiling字段，分配到较多数据量的核心数，即大块
  TILING_DATA_FIELD_DEF(uint32_t, tailNum);   // 添加tiling字段，分配到较少数据量的核心数，即小块
  TILING_DATA_FIELD_DEF(uint32_t, formerLength);  // 添加tiling字段，大块的长度
  TILING_DATA_FIELD_DEF(uint32_t, tailLength); // 添加tiling字段，小块的长度
  TILING_DATA_FIELD_DEF(uint32_t, alignNum); // 添加tiling字段，需要对齐到的最小数据量
END_TILING_DATA_DEF;
// 注册算子tilingdata类到对应的AddCustom算子
REGISTER_TILING_DATA_CLASS(AddCustomUnalign, TilingDataUnalign)
}
#endif // ADD_CUSTOM_UNALIGN_TILING_H

tiling实现，在“op_host/add_custom.cpp”中注册tiling实现接口。

namespace optiling {
constexpr uint32_t BLOCK_DIM = 8;
constexpr uint32_t SIZE_OF_HALF = 2;
constexpr uint32_t BLOCK_SIZE = 32;
// shape需要对齐到的最小单位
constexpr uint32_t ALIGN_NUM = BLOCK_SIZE / SIZE_OF_HALF;
static ge::graphStatus TilingFunc(gert::TilingContext *context)
{
    TilingDataUnalign tiling;
    uint32_t totalLength = context->GetInputTensor(0)->GetShapeSize();
    context->SetBlockDim(BLOCK_DIM);
    // 如果是非对齐的shape，需要向上对齐到最小单位
    uint32_t totalLengthAligned = ((totalLength + ALIGN_NUM - 1) / ALIGN_NUM) * ALIGN_NUM;
    // 把所有的数据尽可能均匀地分配到每个核上，如果不能均分的话，那么会有部分核多算一个最小单位ALIGN_NUM
    // 通过模的计算，可以得到多算一个最小单位的核的数量，也可以得到少算一个最小单位的核的数量
    // eg：1999 对齐后的总数据量为2000个数，核心数为8，数据块的最小单位是16，那么：
    // 1、最小单位数据块的总数：2000 / 16 = 125
    // 2、有5个核会分到16个最小单位的数据块：125 % 8 =5，可以称之为大块
    // 3、有3个核会分到15个最小单位的数据块：8 - 5 = 3，可以称之为小块
    uint32_t formerNum = (totalLengthAligned / ALIGN_NUM) % BLOCK_DIM;
    uint32_t tailNum = BLOCK_DIM - formerNum;
    // 计算大块和小块的数据量
    uint32_t formerLength = ((totalLengthAligned / BLOCK_DIM + ALIGN_NUM - 1) / ALIGN_NUM) * ALIGN_NUM;//16*16=256
    uint32_t tailLength = (totalLengthAligned / BLOCK_DIM / ALIGN_NUM) * ALIGN_NUM;//15*16=240
    tiling.set_formerNum(formerNum);
    tiling.set_tailNum(tailNum);
    tiling.set_formerLength(formerLength);
    tiling.set_tailLength(tailLength);
    tiling.set_alignNum(ALIGN_NUM);
    tiling.SaveToBuffer(context->GetRawTilingData()->GetData(), context->GetRawTilingData()->GetCapacity());
    context->GetRawTilingData()->SetDataSize(tiling.GetDataSize());
    context->SetTilingKey(1);
    size_t *currentWorkspace = context->GetWorkspaceSizes(1);
    currentWorkspace[0] = 0;
    return ge::GRAPH_SUCCESS;
}
} // namespace optiling

小猴啊0.0
关注
全网最全-谷粒商城项目-面试总结-简历优化
成功最快的秘诀: 抱团取暖 。
09-20 28万+
该系用采用SpringCloud架构，利用SpringBoot构建应用，利用Nacos作为服务的注册、配置中心，利用OpenFeign实现与其他模块进行交互，利用Sentinel实现熔断降级和错误处理，利用Gateway作为服务网关，利用RabbitMQ实现延迟队列，利用Redis作为缓存解决读多写少的场景，利用MySQL进行持久化，利用MyBatisPlus作为持久化框架。
c++实现unet
weixin_33737134的博客
10-12 1804
#include<torch/torch.h> #include<iostream> #include<vector> #include<cassert> #include<stdlib.h> #include<unordered_map> #include<fstream> class doub...
PyTorch中的matmul函数详解
wzk4869的博客
11-19 1万+
PyTorch中的matmul函数详解
鲲鹏主机+昇腾Atlas 300I Pro+龙蜥8.6 全国产化主机使用NPU推理YoloV5环境安装全过程
最新发布
gogoytgo的博客
03-28 2249
昇腾Atlas 300I Pro + 龙蜥8.6 YOLOV5推理全流程
大规模分布式训练--模型并行策略
大海中的游鱼
03-13 5611
什么是模型并行 随着深度学习领域的发展，研究人员发现模型越大训练出来的效果越好，因此模型越来越大成为深度学习领域的一个显著特征。但是越大的模型对设备的要求越高，即需要单卡的算力更强，内存空间更大。当单卡运行不能满足 模型的要求时，往往需要多卡甚至多台机器协调工作，共同完成训练工作。但如何协调多卡/多机来完成大模型的训练，是大规模分布式训练所需要解决的问题。 模型并行策略是大规模分布式训练很常见的策略之一。它通过将模型中特定子图中的权值均匀的分配到多张卡上，从而降低了模型对单卡的内存要求。帮助模型顺利运行起来
《深度学习与图像识别原理与实践》—读书笔记
studyeboy的专栏
12-01 4712
机器视觉在行业中的应用 机器视觉的发展背景 人工智能 人工智能（Artificial Intelligence， AI）是计算机科学的一个分支，其意在了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。该领域的研究包括机器人、语言识别、机器视觉、自然语言处理和专家系统等。 人工智能是一个比较大的领域，其中包括机器学习、深度学习、模式识别等，而神经网络是机器学习中的一种方法，深度学习又是神经网络方法中的一个子集。 机器视觉 机器视觉是人工智能的一个重要分支，其核心是使用“机器眼”来.
C++ Qt / VS2019 +opencv + onnxruntime 部署语义分割模型【经验】
shuaijieer的博客
09-01 5017
目前C++ 调用onnxruntime的示例主要为图像分类网络，与语义分割网络在后处理部分有很大不同。
简历中项目总结怎么写（项目总结模板）
poker_zero的博客
03-16 870
项目在简历中的书写和项目介绍是两码事 1.简历中的项目填充 项目流程 （1）需求分析（产品） （2）产品经理 - 和项目经理之间的沟通 （3）项目的选型 项目经理决定 用户需求（并发量） 组内成员的技术 如果用户有特殊需求 （4）开发规范 （5）数据库...
简历撰写之项目总结
默主归沙的博客
04-04 2922
目录 项目一：实时数仓 1.1数据源 1.2 用户的行为数据 1.3 业务数据 1.4 内容数据 2 数仓建设 3 数据的分析模型 4 监控和数据展示 项目二 用户画像 2.1 数据源 2.2 组件 2.3统计类标签 2.4用户相似度检索 项目三 推荐系统 3召回 3.1 算法 3.2策略 3.2.1 基于物品的协同过滤 3.2.2基于用户特征的协同过滤 3.2.3 词汇的嵌入 3.3使用itemcf或者als算法生成物品推荐表 3.4 排序 ...
OAxitong.zip_实习总结_实习项目_简历_简历项目_考勤
09-23
"简历"和"简历项目"是求职过程中必不可少的部分。在这里，作者可能详细列出了他的教育背景、技能特长，以及在实习期间所参与的OA系统相关项目。这些信息可以帮助潜在雇主了解作者的专业技能和实际操作经验，提升其在...
【CUDA编程--编程模型简介&算子开发流程】
xzpdxz的博客
11-13 3240
CUDA全称（Compute Unified Device Architecture）统一计算架构，是NVIDIA推出的并行计算平台深度学习加速：对于神经网络，无论是离线训练还是在线推理，都有巨量的矩阵、归一化、softmax等运算，且其中有非常多的并行计算，非常适合用GPU来进行运算加速一般来说，应用程序混合有并行部分和顺序部分，因此系统设计时混合使用 GPU 和 CPU，以最大限度地提高整体性能。具有高度并行性的应用程序可以利用 GPU 的大规模并行特性来实现比 CPU 更高的性能。
Windows 10 配置OpenCV + ncnn进行算法部署20220402（二）
zengwb的博客
04-04 684
文章目录前言一、安装ncnn二、配置属性二、使用ncnn算法模型推理总结 前言 本地平台：Windows 10、VS2015 OpenCV：3.X NCNN： windows可以github直接下载编译好的opencv，然后安装protobuf、vulkan（可选）、ncnn 一、安装ncnn 简单说下安装流程，详细操作网上搜下很多这方面的文档 1.先安装protobuf 2.安装vulkan 3.安装ncnn （一定要下载ncnn-full版本） 二、配置属性 如下图选择相应的路径即可 然
简单实现cv::dnn推理深度学习模型
weixin_46460816的博客
02-21 592
前边使用python api进行模型推理，这里使用opencv c++ api，模型选择还是前边提到的unet。
pytorch训练的Unet，转onnx, 用opencv调用。readNetFromONNX， Assertion failed) layerId != layer_id.end()
Wslsdx的博客
09-03 2851
1. 部署思路 pytorch中训练好模型，然后在python中转为onnx格式。通过opencv的dnn模块调用 onnx格式模型。 2. 转onnx成功后，发现opencv导入onnx模型, 报错 第一次变异的opencv版本是opencv450，cua10.1. 在c++中导入onnx模型时发现，出现内存异常。检查发现路径没有问题，怀疑是opencv 的bug，使用opencv-python，发现error: error: OpenCV(4.5.0) C:\Users\appveyor\AppD
PRLu算子UT测试问题
xi_xiyu的博客
11-02 222
weight只可以是向量，长度与输入x的通道数C相同。这里weight的长度与输入x的通道数C相同指的是shape吗？测试报告：http://localhost:63342/MyOperatorp/out/coverage_report/ut_impl/d_c585556f9f416c9f_p_re_lu_impl_py.html。这个看起来很像是输入的路径不对，你核查一下你 input 的shape，type、value的情况。开发方式：dsl，框架：mindspore。
项目经验分享：实现一个昇思MindSpore 图层 IR 融合优化 pass
Kenji_Shinji的博客
06-30 444
暑期2021结项审核正在进行中，项目经验分享也未停止。本期分享来自MindSpore 社区的胡秋越同学带来的项目经验：实现一个 MindSpore 图层 IR 融合优化 pass。欢迎大家持续投喂编辑部信箱，积极分享项目经验以及开源心得！邮箱：summer@iscas.ac.cn微信：项目信息项目名称实现一个 MindSpore 图层 IR 融合优化 pass项目背景MindSpore 简介随着近年来深度学习的快速发展，国外大的互联网公司谷歌（Google）和脸书（Facebook）分别推出了自己的深度学习
深度学习常用算子（一）
Gapostal的专栏
08-22 1万+
1、起始输入 Data：输入数据第一层 2、激活算子 作用：引入非线性（通常需要区分的区域，直线是无法完全区分的） 1）Relu 公式：ReLU(x)=max(0,x) 2）LeakyRelu 公式：LeakyRelu(x) = (x >= 0 ? x : x*negative_slope); 3）Relu6 公式：LeakyRelu(x) = max(max(x, ...
PyTorch疑难杂症（1）——torch.matmul()函数用法总结
热门推荐
Wendy的博客
11-05 5万+
目录一、函数介绍二、常见用法2.1 两个一维向量的乘积运算2.2 两个二维矩阵的乘积运算2.3 一个一维向量和一个二维矩阵的乘积运算2.4 一个二维矩阵和一个一维向量的乘积运算2.5 其他 一、函数介绍 pytorch中两个张量的乘法可以分为两种： 两个张量对应元素相乘，在PyTorch中可以通过torch.mul函数（或*运算符）实现； 两个张量矩阵相乘，在PyTorch中可以通过torch.matmul函数实现； torch.matmul(input, other) → Tensor 计算两个张量i
软件工程师求职简历：技术背景与项目经验
总结，这个模板提供了一个全面的框架，帮助软件工程师整理并突出他们的专业技能、工作经验和教育背景，以便在求职过程中吸引潜在雇主的注意。在实际使用时，求职者应根据自己的具体情况进行修改和补充，确保简历真实...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值