lijiaqi0612的博客

ATC（AscendTensorCompiler）是华为昇腾软件栈提供的一个编译工具，它的主要功能是将基于开源框架的网络模型（如Caffe、TensorFlow等）以及单算子Json文件，转换成昇腾AI处理器支持的离线模型Offline-Model文件（简称OM文件）。在编译过程中，可以实现算子调度的优化、权值数据重排、内存使用优化等，并且可以脱离设备完成模型的预处理。更详细的ATC介绍，可参看官方文档。ATC工具架构图。......

背景基础环境Pytorch 1.9版本、CUDA 10.1、cuDNN 7.6 以下描述的Pytorch文件路径均为${PYTORCH_ROOT}(=GitHub - pytorch/pytorch: Tensors and Dynamic neural networks in Python with strong GPU acceleration) 的相对路径Pytorch Dispatch 机制是：输入1个ATen函数名(代表计算逻辑)，根据 配置(native_function...

欢迎关注知乎： 世界是我改变的知乎上的原文链接一. 原理介绍在研究生实习时候就做过语言模型的任务，当时让求PPL值，当时只是调包，不求甚解，哈哈哈，当时也没想到现在会开发这个评价指标，那现在我来讲一下我对这个指标的了解，望各位大佬多多指教。1. 这个困惑度是如何发展来的呢？在得到不同的语言模型（一元语言模型、二元语言模型....）的时候，我们如何判断一个语言模型是否好还是坏，一般有两种方法：一种方法将其应用到具体的问题当中，比如机器翻译、speech recognitio..

今天要更新的是Embedding Similarity，这个评价指标呢，是通过嵌入向量来计算相似度的一种方式，我们一起来学习下。欢迎关注知乎： 世界是我改变的知乎上的原文链接一. Embedding Similarity介绍1. 原理介绍及公式Embedding Similarity，顾名思义就是通过嵌入向量来计算相似度，这个评价指标在网上的资料比较少，我今天来总结一哈。采用Embedding的方式来进行相似性度量，并返回一个度量相似性的数字。请记住，Embedding只是数字的向

我又来更新啦，今天带来的内容是Hausdorff distance 豪斯多夫距离的原理介绍及MindSpore的实现代码。当我们评价图像分割的质量和模型表现时，经常会用到各类表面距离的计算。比如：Mean surface distance 平均表面距离Hausdorff distance 豪斯多夫距离Surface overlap 表面重叠度Surface dice 表面dice值Volumetric dice 三维dice值max_surface_distance 最大表面距离等等等等

机器翻译评价指标之BLEU原理介绍及代码实现欢迎关注知乎： 世界是我改变的知乎上的原文链接一. 原理介绍BLEU（Bilingual Evaluation Understudy），即双语评估替补。所谓替补就是代替人类来评估机器翻译的每一个输出结果。Bleu score 所做的，给定一个机器生成的翻译，自动计算一个分数，衡量机器翻译的好坏。取值范围是[0, 1],越接近1,表明翻译质量越好。机器翻译的一大难题是，一句法语句子，可以有多种英文翻译，这些翻译都是非常好的那怎么去评估一个机器翻译系统的质量

１．在终端执行程序时指定GPU CUDA_VISIBLE_DEVICES=0 python your_file.py # 指定GPU集群中第一块GPU使用,其他的屏蔽掉CUDA_VISIBLE_DEVICES=1 Only device 1 will be seenCUDA_VISIBLE_DEVICES=0,1 Devices 0 and 1 will be visibleCUDA_VISIBLE_DEVICES="0,1" Sam...

Bert的双向体现在什么地方？mask+attention，mask的word结合全部其他encoder word的信息Bert的是怎样实现mask构造的？MLM：将完整句子中的部分字mask，预测该mask词 NSP：为每个训练前的例子选择句子 A 和 B 时，50% 的情况下 B 是真的在 A 后面的下一个句子， 50% 的情况下是来自语料库的随机句子，进行二分预测是否为真...

^(.*?)$\s+?^(?=.*^\1$)

在cbow方法中，是用周围词预测中心词，从而利用中心词的预测结果情况，使用GradientDesent方法，不断的去调整周围词的向量。当训练完成之后，每个词都会作为中心词，把周围词的词向量进行了调整，这样也就获得了整个文本里面所有词的词向量。要注意的是， cbow的对周围词的调整是统一的：求出的gradient的值会同样的作用到每个周围词的词向量当中去。可以看到，cbow预测行为的次数跟整个文本的...

1.词嵌入（word2vec） 自然语言是一套用来表达含义的复杂系统。在这套系统中，词是表义的基本单元。顾名思义，词向量是用来表示词的向量，也可被认为是词的特征向量或表征。把词映射为实数域向量的技术也叫词嵌入（word embedding）。2.为何不采用one-hot向量【如何使用one-hot】1. 假设词典中不同词的数量（词典大小）为NNN，每个词可以和从0到N−...

分类混淆矩阵1True Positive(真正, TP)：将正类预测为正类数. True Negative(真负 , TN)：将负类预测为负类数. False Positive(假正, FP)：将负类预测为正类数→→误报(Type I error). False Negative(假负 , FN)：将正类预测为负类数→→漏报(Type II error).精确率(...

1. 简述线程，程序、进程的基本概念。以及他们之间关系是什么？线程与进程相似，但线程是一个比进程更小的执行单位。一个进程在其执行的过程中可以产生多个线程。与进程不同的是同类的多个线程共享同一块内存空间和一组系统资源，所以系统在产生一个线程，或是在各个线程之间作切换工作时，负担要比进程小得多，也正因为如此，线程也被称为轻量级进程。程序是含有指令和数据的文件，被存储在磁盘或其他的数据存储设备中...

说说List,Set,Map三者的区别？List(对付顺序的好帮手)：List接口存储一组不唯一（可以有多个元素引用相同的对象），有序的对象 Set(注重独一无二的性质):不允许重复的集合。不会有多个元素引用相同的对象。 Map(用Key来搜索的专家):使用键值对存储。Map会维护与Key有关联的值。两个Key可以引用相同的对象，但Key不能重复，典型的Key是String类型...

题目描述输入一个链表，输出该链表中倒数第k个结点。思路1：1. 看到是单链表肯定不能反方向循环，倒数第k个节点，比如链表长度为6，倒数第三个也就是相当于正数第四个，符合6-3+1=4。2. 所以就想到了正向遍历链表两次，但两次复杂度又太高，再考虑能不能遍历一次，进而想到了快慢指针。3. 先判断头结点是否存在和k的大小，然后让快指针先走到第四个，也就是k的位置，然后慢指针从...

题目描述操作给定的二叉树，将其变换为源二叉树的镜像。输入描述:二叉树的镜像定义：源二叉树 8 / \ 6 10 / \ / \ 5 7 9 11 镜像二叉树 8 / \ 10 6 / \ / \ 11 9 7 5...

题目描述：输入两棵二叉树A，B，判断B是不是A的子结构。（ps：我们约定空树不是任意一个树的子结构）思路：本题可以分为两步，第一步：找到A中与B的根结点值相等的结点R，第二步：判断以R为根结点的子树是否包含B一样的结构。本题思路不难，但是需要格外注意对指针空值的判断。# -*- coding:utf-8 -*-# class TreeNode:# def __i...

几种常见的损失函数1. 损失函数、代价函数与目标函数  损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。  代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。  目标函数（Object Function）：是指最终需要优化的函数，一般来说是经验风险+结构风险，也就是（代价函数+正则化...

1. 什么是学习率(Learning rate)？  学习率(Learning rate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。  这里以梯度下降为例，来观察一下不同的学习率对代价函数的收敛过程的影响（这里以代价函数为凸函数为例）：    当学习率设置的过小时，收敛过程如下...

神经网络中Batch和Epoch之间的区别是什么？随机梯度下降法是一种具有大量超参数的学习算法。通常会使初学者感到困惑的两个超参数: Batch大小和Epoch数量,它们都是整数值，看起来做的事情是一样的。在这篇文章中，您将发现随机梯度下降中Batch和Epoch之间的差异。阅读这篇文章后，你会知道：1. 随机梯度下降是一种迭代学习算法，它使用训练数据集来更新模型。2. 批量大小是...