深度学习system

最新推荐文章于 2024-01-29 16:54:30 发布
最新推荐文章于 2024-01-29 16:54:30 发布
阅读量369 收藏
点赞数 1
分类专栏： # 深度学习系统 文章标签： 深度学习 人工智能

原文出自这里

CodeLearner

其实去年秋招后，就一直想对该方向的技术栈做一个梳理，恰好最近有读者在微信公众号(CodeLearner)后台问我一些关于这个方向的学习路线，所以特来做一个梳理，也算是给自己研究生阶段独自😭在这个方向摸爬滚打的一个总结。

回顾去年寒气逼人的秋招，笔者侥幸收获了百度、蔚来等公司 AI-HPC相关岗位的offer，也在微信公众号(CodeLearner)分享过一些面经，后续笔者将持续关注于GPU 计算领域，欢迎大家多多关注～

本帖子将以本书的逻辑和顺序做一个梳理：CS基础->AI算法->模型压缩->异构计算->AI框架->AI编译器

《Deep Learning Systems》(https://deeplearningsystems.ai/)

1 CS基础

1.1 推荐书单

  • 所需的编程语言(C/C++、Python)就不多讲了，数据结构算法也是大学基础课程，不多赘述。

  • 对于操作系统需要多了解，推荐多看一看《深入理解计算机系统》(传说中的面试圣经-CSAPP)

  • 对于计算机体系结构，推荐多看一看《计算机体系结构量化方法》

  • 此外，整个技术栈涉及到AI编译的工作，所以龙书《编译原理》也是必须的

1.2 学习指南

  • CSAPP Lab(http://csapp.cs.cmu.edu/3e/labs.html)、https://github.com/Exely/CSAPP-Labs

  • 普林斯顿大学-计算机体系结构、UCB CS152

上述提及到的所有书籍的pdf版本，可在微信公众号CodeLearner，后台回复关键词获取，详见DL Systems附录书单

2 AI算法

2.1 推荐书单

  • 对于AI算法基础，或者说深度学习，首先推荐看看《深度学习入门：基于Python的理论与实现》(鱼书) 作为深度学习的入门书，对卷积池化激活全连接、forward、backward都有一个原理上的理解，之后针对具体方向利用主流框架搭建一些经典模型，比如CV领域的分类(resnet、vit、swint等)、目标检测(yolo系列、fasterrcnn等)和语义/实例分割(deeplab、unet等)。这里推荐看看《动手学深度学习》和《深度学习框架PyTorch：入门与实践_ 陈云(著) 》

  • 对于AI算法进阶，业界的模型发展速度飞快，模型层出不穷，而AI System这个方向我理解更偏向于AI +系统工程，所以只需要关注模型结构整体的一个发展方向，推荐b站沐神的论文精讲系列，大佬亲自带你解读主流模型。当然如果你实在对炼丹的tirck感兴趣，也可以去paperwithcode(https://paperswithcode.com/)上看看你所关注的领域的SOTA model

2.2 推荐github repo

  • 机器学习领域的github——huggingface(https://huggingface.co/)，关于huggingface的介绍可以看看Huggingface 超详细介绍

    (https://zhuanlan.zhihu.com/p/535100411)

  • 炼丹必备timm(Pytorch image models,scripts, pretrained weights): https://github.com/huggingface/pytorch-image-models

  • NVIDIA在AI 医疗做的工作MONAI

    (https://github.com/Project-MONAI/MONAI), 以及在医学图像领域的数据集汇总dataset (https://github.com/linhandev/dataset) ，希望这两个repo能帮到在做AI for Healthcare的同学(别问我为什么知道，也别问我为什么要做这个)

上述提及到的所有书籍的pdf版本，可在微信公众号CodeLearner，后台回复关键词获取，详见DL Systems附录书单

3 模型压缩

model compression的目标就是在模型精度损失可接受(甚至无精度损失)的情况，减小模型的推理时延和内存占用，进而对硬件友好，便于部署。常用方法包括三种：量化(quantization)，剪枝(pruning)，蒸馏(distillation)和神经网络结构搜索(NAS)。最后这一种属于"高端"玩法，需要大量卡，有兴趣的朋友可以自行了解。

3.1 quantization

量化是指将model中的weight或tensor由原始float量化为int或更低bit数据，进而降低资源占用，加速模型推理。从模型是否需要重新使用大量数据对模型进行重训练可以将模型量化方法分为量化感知训练(QAT)和训练后量化(PTQ)。常见的QAT算法FakeQuantize(https://arxiv.org/abs/1712.05877)、 LSQ(https://arxiv.org/abs/1902.08153) 等，常见的PTQ算法如DFQ (https://arxiv.org/abs/1906.04721)、AdaRound (https://arxiv.org/abs/2004.10568)等。

关于量化的入门学习推荐看一下知乎**Jermmy写的大白话模型量化 (https://www.zhihu.com/column/c_1258047709686231040)专栏和b站zz123211**的讲解视频(https://space.bilibili.com/289239037/channel/collectiondetail?sid=369845&ctype=0)

3.2 pruning

剪枝大体上也可以分为两类：非结构化剪枝(unstructured pruning)和结构化剪枝(structured pruning)。非结构化修剪方法(如Deep Compression( https://arxiv.org/abs/1510.00149 )等)就是将weight中不重要的参数归0，这样就会导致存在较多的稀疏矩阵，所以需要计算的硬件平台支持稀疏化计算。结构化修剪方法(如L1-norm based Channel Pruning (https://arxiv.org/abs/1608.08710) Network Slimming (https://arxiv.org/abs/1708.06519)等)则是在通道或层的层次上进行修剪。由于原始结构仍然保留，所以对于深度学习框架/硬件相对友好。

3.3 distillation

蒸馏就是用复杂但高精度的Teacher model指导训练小巧的Student model，类似于金庸武侠中逍遥派掌门无崖子将几十年功力传给虚竹一样，这样使得小模型即算的快，又精度高(不绝对)。蒸馏的原理不难理解，主要就是在Loss函数上做文章，所以推荐看一下蒸馏开山作Distilling the Knowledge in a Neural Network (https://arxiv.org/abs/1503.02531) 基本可以了解蒸馏的原理，此外笔者自己也写过一个关于DeiT:ViT&模型蒸馏的解读，可以参考一下。

3.4 compression github repo
  1. 官方工具链

  • 微软的nni (https://github.com/microsoft/nni)工具链包括超参数调整，NAS(神经网络架构搜索)、模型压缩等

  • 高通的模型压缩工具链AIMET (https://github.com/quic/aimet)

  • OpenMMlab的mmrazor (https://github.com/open-mmlab/mmrazor)

  • 百度的PaddleSim (https://github.com/PaddlePaddle/PaddleSlim)

  • Intel 针对自家推理框架OpenVINO的压缩工具链nncf (https://github.com/openvinotoolkit/nncf)

  • Google 的 model-optimization (https://github.com/tensorflow/model-optimization)，针对TensorFlow和Keras模型的部署优化(包括量化和剪枝)

  1. 学习repo

  • MiT 韩松团队在模型压缩和边缘计算这个方向也有很多工作值得去学习MIT HAN Lab (https://songhan.mit.edu/)

  • micronet (https://github.com/666DZY666/micronet)

4 并行计算

对于并行计算而言，主要是GPU或者FPGA相关的编程(较主流的是GPU)。对于FPGA的开发主要是通过硬件描述类语言如Verilog，或者通过高级综合(HLS)将C/C++转换为硬件描述语言 进行开发。而对于GPU 则主要是通过并行计算框架进行开发，如针对NVIDIA GPU的CUDA、针对其他GPU的OpenCL

4.1 推荐书单 && blog

  • 《大规模并行处理器程序设计》、《General-Purpose Graphics Processor Architecture》

    《通用图形处理器设计 GPGPU编程模型与架构原理》(景乃锋)

  • NVIDIA官方文档 《CUDA Programming Guide》 (https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html) 和 《CUDA Best Practice Guide》(https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html)

  • CUDA C编程权威指南

  • 谭升的博客(https://face2ai.com/program-blog/#GPU%E7%BC%96%E7%A8%8B%EF%BC%88CUDA%EF%BC%89) 、知乎好文(https://www.zhihu.com/people/ban-zhuan-yuan-shi-chao-ji-gun/posts)、个人写的一些学习笔记(厚脸皮的说)

  • OpenCL 2.0 异构计算

  • OPENCL 异构并行计算 原理、机制与优化实践

  • 《Verilog数字系统设计教程(夏宇闻)》、《FPGA设计技巧与案例开发详解(韩彬)》

  • 《Parallel Programming for FPGAs》

上述提及到的所有书籍的pdf版本，可在微信公众号CodeLearner，后台回复关键词获取，详见DL Systems附录书单

4.2 推荐github repo

  • NV开源的深度学习加速硬件架构NVDLA : https://github.com/nvdla/hw

  • FPGA优质学习资料汇总 https://github.com/LeiWang1999/FPGA

  • NV基于CUDA高效实现的众多Transformer网络(如Bert、GPT和Swin-T等)，支持接入主流AI框架(Pytorch和TensorFlow等) : https://github.com/NVIDIA/FasterTransformer

  • 给Pytorch后端添加自定义的CUDA算子 ：https://github.com/godweiyang/NN-CUDA-Example

  • BBuf大佬维护的学习笔记how-to-optim-algorithm-in-cuda (https://github.com/BBuf/how-to-optim-algorithm-in-cuda)

  • 对于OpenCL做Deep Learning的库我不是很确定哪个比较好(毕竟OpenCL落后太多了)…这里给三个链接

    AMD 的opencl版caffe: https://github.com/amd/OpenCL-caffe ，intel做的一个clDNN : https://github.com/intel/clDNN , 还有一个用于训练CNN的OpenCL库 DeepCL：https://github.com/hughperkins/DeepCL/tree/master

5 AI框架

对于AI框架，主要包含两类：训练框架和推理框架

5.1 训练框架

  • 使用最广泛的框架Pytorch(https://github.com/pytorch/pytorch) ，对于源码解读推荐看看OpenMMLab的Pytorch源码解读系列(https://zhuanlan.zhihu.com/p/328674159)

  • TensorFlow(https://github.com/tensorflow/tensorflow)，相应的源码解读学习资料(https://github.com/tensorflow/tensorflow)

  • 华为的Mindspore

  • 百度的Paddle

  • 一流科技的Oneflow，对于oneflow可以看看GiantPandaCV给的开发者笔记(http://giantpandacv.com/project/OneFlow/)

5.2 推理框架

  • NV针对自家GPU做的推理框架TensorRT (https://github.com/NVIDIA/TensorRT)

  • Meta的AITemplate (https://github.com/facebookincubator/AITemplate)

  • 腾讯YouTU Lab(作者nihui) 针对手机端的推理框架ncnn (https://github.com/Tencent/ncnn)

  • 阿里的MNN (https://github.com/alibaba/MNN)

  • TensorFlow集成的推理框架TensorFlowLite，TinyML就是基于TensorFlowLite

  • Intel 针对自家CPU做的推理框架openvino (https://github.com/openvinotoolkit/openvino)

  • Xilinx针对FPGA平台做的AI 推理工具Vitis AI (https://github.com/Xilinx/Vitis-AI)

  • 另外再补充一个onnx (https://github.com/onnx/onnx)，onnx提供了一种第三方的开源格式，其构想就是所有框架都能转换为onnx格式，进而实现不同框架之间的模型无痛转换。

5.3 学习指南

  • 推荐caffe (https://github.com/BVLC/caffe)框架的源码阅读 (https://github.com/BUPTLdy/Caffe_Code_Analysis)

  • 当然为了更快速的自己动手写一个推理框架，这里也推荐看自制推理框架系列知乎(https://www.zhihu.com/column/c_1598688571979878402)、b站video (https://space.bilibili.com/1822828582/channel/collectiondetail?sid=948314&ctype=0)

6 AI编译

AI编译简而言之就是对AI模型通过编译优化，将计算图/算子更好的部署在不同的架构的硬件上。AI编译器是依托于传统编译器的，与传统编译器有很多相似的地方，都是将编译器前端[高级编程语言/深度学习计算图] 进行代码生成，为IR(Intermediate Representation), 之后通过编译器中端对IR进行优化，最后通过编译器后端将IR转换为具体硬件平台可执行的硬件指令目标文件。

6.1 AI编译器

  • 陈天奇大佬的tvm (https://tvm.apache.org/), 关于tvm的学习可以看看tvm文档(https://tvm.hyper.ai/docs/)以及陈天奇的MLC课程的b站视频 (https://space.bilibili.com/1663273796/channel/series)和文档 (https://mlc.ai/zh/index.html)

  • MLIR(https://mlir.llvm.org/)

  • XLA(https://www.tensorflow.org/xla?hl=zh-cn)

6.2 学习指南

  • 《编译原理》

  • 《机器学习系统:设计和实现》(https://openmlsys.github.io/)

  • 《AI编译器开发指南》

  • BBuf大佬维护的AI编译器学习仓库tvm_mlir_learn (https://github.com/BBuf/tvm_mlir_learn)

7 最后

文中提到的所有参考书籍的pdf版，笔者做了一个汇总，如需获取，欢迎大家关注微信公众号CodeLearner～～

ML/DL System是一个很大的方向，除了上述提及到几个方向，还包括分布式机器学习、AI芯片架构等方向，每个方向涉及的内容也很多所以要做好AI System不容易，对于本文中没有阐述清楚的点大家也可以看看MLsys各方向综述 (https://zhuanlan.zhihu.com/p/104444471) 和ML system入坑指南 (https://zhuanlan.zhihu.com/p/608318764) 这两篇帖子，也可以看看b站ZOMI酱的视频 (https://space.bilibili.com/517221395/channel/series)

对于我们应届生而言能在一个方向深入后逐渐往其他方向上延伸即可。为此，大家也可以看看高性能计算方向面试问题总结 (https://zhuanlan.zhihu.com/p/634557901)，关于公司大家可以参考AI-Chip (https://github.com/basicmi/AI-Chip)

欢迎关注CodeLearner，一起学习和交流AI Systems、AI Chip的相关技术

ZhengXinTang
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
探索未来科技：深度学习系统——`DeepLearningSystem`
gitblog_00078的博客
03-20 398
探索未来科技：深度学习系统——DeepLearningSystem 项目地址:https://gitcode.com/chenzomi12/DeepLearningSystem 在这个日益数字化的世界中，人工智能和深度学习正逐步改变我们生活和工作的方式。项目链接提供了一个高效、易用的深度学习系统，旨在简化机器学习模型的开发与部署流程，让更多的开发者能够快速上手并利用其强大功能。 项目简介 Deep...
深度学习推荐系统
ChristineC_的博客
06-01 5055
深度学习推荐系统互联网的增长引擎 —— 推荐系统前深度学习时代 —— 推荐系统的进化之路协同过滤UCF矩阵分解FM浪潮之巅 —— 深度学习在推荐系统中的应用强化学习和推荐系统的结合Embedding 技术在推荐系统中的应用多角度审视推荐系统深度学习推荐系统的工程实现在线部分召回粗排（可选）排序业务策略近线部分离线部分推荐系统的评估深度学习推荐系统的前沿实践FacebookGBDT+LRDLRM (...
基于CMU 10-714 Deep Learning Systems 实现深度学习框架 needle.zip
02-19
人工智能-项目实践-深度学习
DeepLearningSystem：开启深度学习之旅的全方位指南，一款深度学习系统性开源课程项目！
z_ipython的博客
01-29 546
深度学习系统课程是一扇通往人工智能世界的大门。通过这个课程，学习者不仅能够获得必要的技术知识，还能够激发对深度学习的热情和对未来创新的思考。随着技术的不断进步，掌握深度学习的能力已经成为许多行业的必备技能。如果你对深度学习感兴趣，不妨来试试这个项目，相信你一定会有所收获。
AI编译器开发是未来的新趋势？想入门就来看看这本书准没错！
01-31 3527
AI编译器开发是未来的新趋势？想入门就来看看这本书准没错！
deep learning system 笔记 自动微分 reverse mode AD
greatcoder的博客
05-06 411
上图中从前向后，一步一步计算每个中间值对 x1的偏导，那么计算到 v7，就得到了整个函数对于 x1的偏导。下游节点将上游传来的所有偏导相加 （partial adjoint 我没有很好的翻译方式）其中很多的中间结果可以被重用，就减少了我们的很多开销。反向求导，实际上事对链式法则的运用。
基于深度学习的推荐系统
TensorFlowNews
11-02 2902
作者|James Loy 编译|VK 来源|Towards Data Science 传统的推荐系统基于聚类、最近邻和矩阵分解等方法。然而，近年来，深度学习在从图像识别到自然语言处理等多个领域取得了巨大的成功。推荐系统也得益于深度学习的成功。事实上，如今最先进的推荐系统，比如Youtube和Amazon的推荐系统，都是由复杂的深度学习系统驱动的，而不是传统方法。 本教程 在阅读了许多有用的教程，这些教程介绍了使用诸如矩阵分解等传统方法的推荐系统的基础知识，但我注意到，缺乏介绍基于深度学习的推荐系统的教程。在
深度学习文件.txt
12-01
python 基础学习Disclaimer: MDPI recognizes the importance of data privacy and protection. We treat personal data in line with the General Data Protection Regulation (GDPR) and with what the community ...
基于深度学习的文字识别系统.zip
02-19
【标题】：“基于深度学习的文字识别系统” 在当今数字化时代，文字识别技术是人工智能领域的一个重要组成部分，尤其在自动驾驶、图像处理、文档自动化等领域有着广泛的应用。本项目以“基于深度学习的文字识别系统...
基于深度学习的学生课堂行为识别评价综合系统.zip
04-22
【标题】中的“基于深度学习的学生课堂行为识别评价综合系统”是一个使用深度学习技术来分析和评估学生在课堂上的行为的项目。这个系统旨在通过自动化的手段，对学生的行为进行理解和评估，以帮助教师更好地理解学生...
分布式深度学习任务管理系统.zip
最新发布
04-20
在`distributed_deep_learning_task_management_system-main`这个项目中，很可能是包含了实现分布式深度学习任务管理系统的源代码。通常，这样的系统会包含以下几个关键部分： 1. **配置文件**：定义了节点的数量、...
【AI编译器原理】系列来啦！我们要从入门到放弃！
m0_37046057的博客
01-16 509
AI编译器】深度学习的编译与优化就是将当前的深度学习计算任务通过一层或多层中间表达进行翻译和优化，最终转化成目标硬件上的可执行代码的过程。本系列将围绕现有【AI编译器】中的编译和优化工作的内容展开介绍。
深度学习于推荐系统综述：Deep Learning based Recommender System: A Survey and New Perspectives
qq_44015059的博客
07-15 4841
前言 论文链接：https://arxiv.org/abs/1707.07435 部分内容参考于https://blog.csdn.net/w5688414/article/details/78651121系列博客 主要整理与MLP及AE相关内容，仅用于自己学习笔记之用 基于深度学习的推荐系统 1. 基于多层感知机的推荐系统 多层感知器(Multi-Layer Perceptron，MLP)也叫人工神经网络(Artificial Neural Network，ANN)，除了输入输出层，它中间可以有多个隐层。
Deep Learning SystemsAlgorithms and Implementation-HW0
xiadimichen14908的博客
09-21 422
深度学习系统课程 CMU
【分布式】分布式深度学习DDLs系统Review——分布式学习通俗理解Distributed Deep Learning Systems（最全面的论述）
点赞的都能无bug通过！
10-14 2598
分布式深度学习系统 (DDLS) 通过利用集群的分布式资源来训练深度神经网络模型。 DDLS 的开发人员需要做出许多决定，以在他们选择的环境中有效地处理他们的特定工作负载。 基于 GPU 的深度学习的出现、不断增加的数据集和深度神经网络模型，再加上集群环境中存在的带宽限制，要求 DDLS 的开发人员进行创新，以便快速训练高质量模型。 本blog概述了当代 DDLS 使用的不同技术，具体内涵请回读论文阐述。 一、什么是分布式深度学习/DDL？ 深度学习在各个领域实现突破的一部分原因是我们使用了更多的数据.
DeepLearning | Broad Learning System 宽度学习系统 : 高效增量式浅层神经网络
热门推荐
冯良骏 的 博客
06-05 1万+
Broad Learning System (BLS，宽度学习系统)是澳门大学的陈俊龙教授在2017年TNNLS上基于随机向量函数链接神经网络(RVFLNN)和单层前馈神经网络(SLFN)提出的一种单层增量式神经网络。这个模型相比于传统的深层网络模型，它在保证一定精度的同时，具有快速、简洁，同时支持增量式的在线模型更新等比较好的性质。我在复现以后发现模型在一些数据集上的表现确实是不错的，在与陈教授...
《Wide & Deep Learning for Recommender Systems》 学习记录
qq_21220235的博客
11-23 1488
     在有稀疏输入的大规模的回归和分类问题中，对普通的线性模型进行非线性特征转换是很广泛的。当普通的方法需要很多特征支持的时候，通过交叉积特征转换的一个很广泛的集合的记忆式方法很有效；在有较少的特征的工程中，深度神经网络可以通过对稀疏数据进行低维度的稠密嵌入学习而生成较好的没有见过的特征组合。但是有嵌入的深度神经网络会过分普遍化和当用户和项的交互很稀疏和高阶的时候会推荐较少的相关项
Parsley应用框架深度学习
2. **消息系统（Messaging System）**：Parsley内置的消息系统支持事件驱动编程，使得组件之间可以相互通信，而不直接引用对方。这种松散耦合的方式有助于保持代码的整洁和模块化。 3. **元数据（Metadata）**：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值