从0开始深度学习工程师之路（一）为什么要学深度学习

前言

为什么要学深度学习以及为什么要了解深度学习的全栈知识

    机器学习是一门人工智能的分支，它研究如何让计算机从数据中学习规律和知识，从而实现智能的功能。机器学习的应用领域非常广泛，包括图像识别、自然语言处理、推荐系统、医疗诊断、金融分析等。深度学习之前的机器学习现在习惯称之为传统方法，主要特点是人为设计特征，可解释性强，而随着2012年AlexNet横空出世，则开启了深度学习的爆发，越来越多的领域都开始了使用深度学习的方法，特别是CV和NLP领域。深度学习在这些领域取得了巨大进步，使得人脸识别、语音助手之类的应用进入了我们的日常生活。而随着ChatGPT的出现，深度学习大模型的效果让人们看到了通用人工智能的可能。

    伴随这些发展，深度学习的技术也呈现了一些特点，不再是只会训练就算习得了这个技能，另一方面随着算力的发展、算法的进步以及开源社区的发展，除了大模型之外，整个深度学习其实是在平民化的，比如我们可以用自己的游戏显卡就可以训练一个还不错的检测自家猫狗的或者检测家里是否有人闯入的算法，甚至可以在不需要了解算法的情况下，使用开源的代码不做修改即可训练或者使用。也许可以说，以后人人都是自己的算法工程师。因此在这个人工智能时代，学习如何使用这些技术是很有必要的。而对于本身就是从事这一行的人来说，仅仅只是会训练这些算法（调包侠，调参侠），并没有足够的壁垒。比如在pytorch和tensorflow没有出现的时代，工程师使用caffe来训练，常常需要自己修改C++，写新算子，这或许在当时算有些壁垒，而伴随着pytorch这类动态框架出现，这些壁垒慢慢消失了（但那些工程师的能力还是得到了锻炼）。所以业内人士，也要学习关注模型训练之外的事情。同时，学习其他方面也可以反哺训练，比如学习了模型部署，我们就知道哪些结构有利于部署，而哪些可能会遇到硬件不支持。

人工智能的发展过程

  人工智能的发展过程有个明显的特点就是经历了几次热潮和低谷。这种情况主要是技术没有达到炒作时人们的预期。这一波由大模型带起的新浪潮之后是低谷还是继续接着奏乐接着舞，也未可知，但至少从2012年到如今的深度学习热潮已经深深改变了我们的生活，或许避免再次低谷的方式就是将这些技术转变为实实在在的产品，进入大众生活。

学术界和工业界的区别

学术界

  学术界总体来说是个线性过程，选择一个问题，收集数据，清洗和标注数据，在模型开发上进行迭代，直到得到在收集的数据集上表现良好的模型，评估该模型，最后发论文。这个过程中，数据往往是公开的数据不再更改，主要的过程在模型开发的迭代上。所以学术界可以只关注训练这一个方面。

工业界

  工业界则更像一个与外界有交互的环。模型部署到生产环境后，需要时刻关注模型在真实使用时的表现，然后收集真实场景的数据，然后优化，形成一个迭代的闭环。可以看到工业界中所要面临的环节要多得多，也复杂的多，这每个环节中都发展出了对应的工具，比如数据标注有LabelStudio, 部署有Trition, torchserve等，利用这些工具，能极大的提升我们的工作效率，也是往全栈算法工程师上发展的必经之路。

专栏的范围

训练模型之外的其他机器学习项目所需要的技能，比如机器学习产品或项目需要的通用技能，MLops方面的工具，一些机器学习方面的最佳实践等等。希望能一起慢慢成为深度学习方面的全栈工程师。

下一篇准备先从开发中的基础设施和工具开始讲起