朝闻道

本文包括以下几个内容1.扫描和点查2.离线翻译3.高性能端侧机器学习计算库EMLL(Edge ML Library)扫描和点查扫描识别扫描识别和常见的字符识别场景不一样一秒钟100张图像算法需要从快速从拍摄的图像中提取文字全景拼接拼接效果对识别影响很大全景拼接像素级检测：对每个像素位置进行文字和背景分类中心组行：基于分类结果和位置信息，将扫描的中心文字连接并组合成行矫正切行：将文本行从复杂的背景中切分出来复杂的应用场景• 特殊字体，形近字，背景都会干扰识别检测模块+

快速入门本节贯穿MindSpore的基础功能，实现深度学习中的常见任务，请参考各节链接进行更加深入的学习。配置运行信息MindSpore通过context.set_context来配置运行需要的信息，譬如运行模式、后端信息、硬件等信息。导入context模块，配置运行需要的信息。import osimport argparsefrom mindspore import contextparser = argparse.ArgumentParser(description='Mi

基本介绍本节将会整体对华为AI全栈进行介绍，并介绍MindSpore在其中的位置，如果对MindSpore兴趣的开发者，最后可以参与MindSpore的社区并一键三连（Watch/Star/Fork）。华为昇腾AI全栈介绍昇腾计算，是基于昇腾系列处理器构建的全栈AI计算基础设施及应用，包括昇腾Ascend系列芯片、Altas系列硬件、CANN芯片使能、MindSpore AI框架、ModelArts、MindX应用使能等。其中华为Atlas人工智能计算解决方案，是基于昇腾系列AI处理器，通过

推理本节是初级教程的最后一节，为了更好地适配不同推理设备，因此推理分为 1）昇腾AI处理器推理和 2）移动设备推理。昇腾AI处理器推理1 概述昇腾（Ascend）AI处理器是面向边缘场景的高能效高集成度AI处理器。可以实现图像、视频等多种数据分析与推理计算，可广泛用于智能监控、机器人、无人机、视频服务器等场景。本节我们来学习如何在昇腾AI处理器上使用MindSpore执行推理。2 推理代码介绍首先创建目录放置推理代码工程，model目录用于存放上述导出的MindIR模型文件，test

最近一个月朋友老来问我：“什么才是AI框架？”，于是趁着夜深人静的时候，真正地去梳理什么是AI框架，下面是我对AI框架的一些思考。到底什么是AI算法？什么是神经网络？神经网络有什么用？为什么神经网络需要训练？什么是模型？AI框架有什么用？AI框架能解决什么问题？上面的几个问题其实还挺有挑战的。下面我们来对清楚一些基本概念：深度学习是机器学习研究领域中的一种，深度学习的概念源于对人工神经网络的研究，很多深度学习算法都使用神经网络进行表示，因为神经网络的性能精度和通用效果都非常好，于是业界习惯性地把深度

进入公司AI产业快有3个年头，AI芯片和传统芯片，甚至AI芯片和GPU，还有AI芯片的发展历史，面向未来场景的挑战都有很多话题，下面我们一起来聊聊AI芯片和传统芯片的区别哈。芯片是半导体元件产品的统称，而集成电路，缩写是IC，就是将电路小型化，通过电子学和光学，将电路制造在半导体晶圆上面。我们会分为4个小点进行介绍AI芯片前言解读。首先是AI芯片从CPU、GPU、到XPU的发展情况总体介绍，接着是AI芯片都有哪些系统架构，基于不同的系统架构，又引申出不同的AI芯片。第三部分来整体看看，AI芯片的产业

要了解大模型训练难，我们得先看看从传统的分布式训练，到大模型的出现，需要大规模分布式训练的原因。接着第二点去了解下大规模训练的挑战。从分布式训练到大规模训练常见的训练方式是单机单卡，也就是一台服务器配置1块AI芯片，这是最简单的训练方式。随着数据量的增加，希望加快模型的训练速度，于是出现了单机多卡，多块AI芯片并行，以一台机器上配置8块AI芯片为例，把数据切分成8份，分别在8块AI芯片上都跑一次BP算法，计算出梯度，然后所有AI芯片上计算出的梯度进行平均，更新模型参数。这样的话，以前一次BP只能训练

目前Foundation Model或者是大模型，特别地火，接下来介绍什么是大模型，大模型的基本概念；接着看看大模型的实际作用，然后基于这些实际作用，我们简单展开几个应用场景。最后就是介绍支持大模型训练的AI框架。在往下看之前，想抛出几个问题，希望引起大家的一个思考：1）为什么预训练网络模型变得越来越重要？2）预训练大模型的未来的发展趋势，仍然是以模型参数量继续增大吗？3）如何预训练一个百亿规模的大模型？Foundation Model2021年8月份，李飞飞和100多位学者联名发表

通常我们训练神经网络模型的时候默认使用的数据类型为单精度FP32。近年来，为了加快训练时间、减少网络训练时候所占用的内存，并且保存训练出来的模型精度持平的条件下，业界提出越来越多的混合精度训练的方法。这里的混合精度训练是指在训练的过程中，同时使用单精度（FP32）和半精度（FP16）。1、浮点数据类型浮点数据类型主要分为双精度（Fp64）、单精度（Fp32）、半精度（FP16）。在神经网络模型的训练过程中，一般默认采用单精度（FP32）浮点数据类型，来表示网络模型权重和其他参数。在了解混合精度训练之

如何利用计算中心成千上百的AI加速芯片的集群，训练参数量超过百亿的大规模模型？并行计算是一种行之有效的方法，除了分布式并行计算相关的技术之外，其实在训练大模型的过程还会融合更多的技术，如新的算法模型架构和内存/计算优化技术等。这篇文章梳理我们在大模型训练中使用到的相关技术点，主要分为三个方面来回顾现阶段使用多AI加速芯片训练大模型的主流方法。1.**分布式并行加速：**并行训练主要分为数据并行、模型并行、流水线并行、张量并行四种并行方式，通过上述四种主要的分布式并行策略来作为大模型训练并行的主要策.

近期一直在梳理做AI框架必懂的知识——AI框架系统知识，希望能够给自己从算法的研究，到AI框架的研究的近3年，做一个系列的总结，也会结合ZOMI酱在MindSpore的开发过程当中用到的一些最新的技术进行总结和梳理。文章会陆续更新，从上层的算法、用户面的表达层、到中间的编译层对神经网络图的优化、最后底层的执行器，当然少不了的有AI加速芯片。可能有时候因为工作原因呐，更新得比较慢，但是未来半年会继续坚持！也希望大家能够关注我，并继续支持ZOMI酱更新哈！虽然大部分是用MindSpore的整体架构来作为

明天博士论文要答辩了，只有一张12G二手卡，今晚通宵要搞定10个模型实验 挖槽，突然想出一个T9开天霹雳模型，加载不进去我那张12G的二手卡，感觉要错过今年上台Best Paper领奖上面出现的问题主要是机器不够、内存不够用。在深度学习训练的时候，数据的batch size大小受到GPU内存限制，batch size大小会影响模型最终的准确性和训练过程的性能。在GPU内存不变的情况下，模型越来越大，那么这就意味着数据的batch size智能缩小，这个时候，梯度累积（Gradient Accum

机器学习和深度学习算法流程终于考上人工智能的研究僧啦，不知道机器学习和深度学习有啥区别，感觉一切都是深度学习 挖槽，听说学长已经调了10个月的参数准备发有2000亿参数的T9开天霹雳模型，我要调参发T10准备拿个Best Paper现在搞传统机器学习相关的研究论文确实占比不太高，有的人吐槽深度学习就是个系统工程而已，没有数学含金量。但是无可否认的是深度学习是在太好用啦，极大地简化了传统机器学习的整体算法分析和学习流程，更重要的是在一些通用的领域任务刷新了传统机器学习算法达不到的精度和准确..

二值化网络（BNN）老板：量化到INT8又怎么样！还不够小！我要把AI模型放在耳机手表里面！！ 员工：那我们用二值化网络！！一切都是0和1！！二值化网络跟低比特量化一样，目的是让模型更小，小到有着最为极端的压缩率和极低的计算量。那什么是二值呢？二值指的是仅仅使用+1和-1（或者是0和1）两个值，来表示权重和激活的神经网络。相比于全精度（FP32）表示的神经网络，二值化可以用XNOR（逻辑电路中的异或非门）或者是简单的计数操作（pop Count），极其简单的组合来代替FP32的乘和累...

过参数化主要是指在训练阶段，在数学上需要进行大量的微分求解，去捕抓数据中的微小变化信息，一旦完成迭代式的训练之后，网络模型推理的时候就不需要这么多参数。而剪枝算法正是基于过参数化的理论基础而提出的。剪枝算法核心思想就是减少网络模型中参数量和计算量，同时尽量保证模型的性能不受影响。那在AI框架中，实际上剪枝主要作用在右下角的端侧模型推理应用场景中，为的就是让端侧模型更小，无论是平板、手机、手表、耳机等小型IOT设备都可以轻松使用AI模型。而实际在训练过程更多体现在剪枝算法和框架提供的剪枝API...

针对分布式训练服务器的集群进行架构设计，是为了更好地解决机器学习中分布式训练中的通讯问题。目前机器学习中主要由两种分布式架构：参数服务器架构（Parameter Server，PS） 去中心化架构（Decentralized Network）其中，分布式训练通常在计算集群上进行，集群的每个节点分别执行一部分计算。不同节点的计算之间有数据依赖和共享，需要将数据在不同节点间传输，这就是通信。分布式的通信一般有两大类：集合通信（Collective communication，CC）：在一组节...

1. 序在当下的 NLP 领域，BERT是一个绕不过的话题。自从2018年底横空出世以来，它以势不可挡的态势横扫了整个GLUE榜单，将基准推进到80%的水平线，在SQuAD1.1中全部指标超越人类水平。在使用其预训练的参数后，几乎所有的下游任务都获得了相当的增益（当然，大量参数随之带来的也有运算效率的下降），自此开创了大语料无监督任务的预训练模型时代，自成一个山门，史称Bertology。从任务本身来看，BERT本质上是一个通用的语言模型(Language Representation Mode

一文打尽图嵌入Translate模型，各种模型的动机，优缺点分析。本文对知识图谱嵌入/知识表示的转换模型进行了简要的总结。你可以从TensorFlow-TransX中找到开源的TensorFlow代码。知识表示的一些背景知识通常，我们使用三元组(head, relation, tail)来表示知识。在这里，头和尾是实体。例如，(sky tree, location, Tokyo)。我们可以用独热向量来表示这个知识。但实体和关系太多，维度太大。当两个实体或关系很近时，独热向量无法捕捉相似度。受

近年来，图表示学习（Graph Embedding）和图神经网络（Graph Neural Network, GNN）成为网络数据分析与应用的热点研究问题，其特点是将深度神经网络技术用于网络结构的建模与计算，诞生了以 DeepWalk、LINE 和 node2vec 为代表的图表示学习技术，以 GCN 为代表的图神经网络，能够利用分布式表示方案实现对网络中的节点、边及其附带的标签、属性和文本等信息的建模，从而更好地利用网络结构进行精细建模和深度推理，相关技术已经被广泛用于数据挖掘、社会网络分析、推荐系统、自