深度学习优缺点（博客摘录「 知识蒸馏」2023年10月25日）

1.1 深度学习的优点特征学习代替特征工程：深度学习通过从数据中自己学习出有效的特征表示，代替以往机器学习中繁琐的人工特征工程过程，举例来说，对于图片的猫狗识别问题，机器学习需要人工的设计、提取出猫的特征、狗的特征输入到机器学习模型中才能进行进一步的分类，这个过程非常依赖人的经验和领域知识，而深度学习模型会自己直接从猫狗图片中学习出猫和狗的有效特征表示。端到端学习代替多模块学习：在一些任务中，传统机器学习方法需要将一个任务的输入和输出之间，人为的分割成多个子模块，也就是分割成多个阶段，每个子模块分开进行训练学习，比如对于一个自然语言理解问题，一般需要切分成分词、词性标注、句法分析、语法分析等多个模块，而端到端学习不进行模块和阶段的划分，直接优化任务的总体目标，中间过程不需要人为干预，训练数据呈现 输入-输出 对的形式，不再需要额外的信息。1.2 深度学习的缺点依赖数据量规模：深度学习要想发挥出理想的效果，需要大规模的数据，当数据量偏少时可能还不如传统的机器学习方法。模型体积过大：深度学习要想从数据中学习出更有效的特征表示，一般会通过加深模型层数的方法，随着残差连接和多种正则化方法的提出，训练更深层的模型变为可能，这也导致了深度学习模型的体积变的越来越大，无法部署在那些资源受限的设备上，往往只是理论上能达到最优，但是无法真正进行落地使用。可解释性差：在深度学习的眼中，万事万物都是向量（更准确的说叫张量），外界对象需要被表示为向量才能输入到模型中进行进一步的处理，在深度学习中把将外界对象表示为向量这个过程叫做嵌入，比如将一个词语表示为向量叫做词嵌入，但是表示成向量之后，它的解释性就很差，比如用 [0.3,0.4,9.2] 这个向量表示‘我’这个词，你就不知道这几个数字究竟表示什么意义。