CNN超进化史（1）——从人工智能到深度学习

提示：文章内容仅代表作者个人理解和观点

---

前言

提示：这里可以添加本文要记录的大概内容：

博主也正在学习深度学习，同样是名技术小白，突然在写学习笔记之后想将想法和学习历程分享出来，于是…。

前几天看到一篇文章，大概3月14日，特斯拉AL总监声称复现了LeCun33年前的神经网络，然后发现和现在区别不大：
在深度学习已经是一个非常活跃的研究领域的 33 年后的今天，一位业界大佬却说变化不大，这是一个有点讽刺意味的判断。
全文除了复现LeNet网络之外，还利用现在对深度学习的理解以及这 33 年积累的研发经验，提出了个疑问：如果我们在回到那个年代，我们能在原结果的基础上做出多少改进呢？
还有一句反问：你也可以自己训练一个神经网络，但你为什么要怎么做呢？
我觉得这大有含义，值得我们深入思考一下。
这篇文章的最后两段总结，大概意思是随着集成化的GPT（通用模型）这种基础模块的出现趋势，根据某些目标任务的从零训练的神经网络就会变得落伍，因为我们只需要在通用模型上微调参数就可以了，然后我们就越来越不再想训练一个神经网络了。相当于用进废退吧。
所以我想从最开始的地方探究CNN的进化史，看看它是如何从零开始进化的，至今成为我们所敬畏的庞然大物。

---

提示：以下为本篇文章正文内容

一、深度学习、机器学习和人工智能之间的关系

千言万语化为一句：机器学习的子类是深度学习，机器学习的父类是人工智能

二、人工智能

人工智能（Artificial intelligence）简称AI。人工智能是计算机科学的一个分支，它企图了解智能的本质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

人工智能目前分为弱人工智能和强人工智能和超人工智能。

弱人工智能：

弱人工智能（ArtificialNarrow Intelligence /ANI),只专注于完成某个特定的任务，例如语音识别、图象识别和翻译等，是擅长于单个方面的人工智能。它们只是用于解决特定的具体类的任务问题而存在，大都是统计数据，以此从中归纳出模型。由于弱人工智能智能处理较为单一的问题，且发展程度并没有达到模拟人脑思维的程度，所以弱人工智能仍然属于“工具”的范畴，与传统的“产品”在本质上并无区别。

强人工智能：

强人工智能（Artificial Generallnteligence /AGI),属于人类级别的人工智能，在各方面都能和人类比肩，它能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等操作，并且和人类一样得心应手。

超人工智能：

超人工智能（Artificial Superintelligence/ASI），在几乎所有领域都比最聪明的人类大脑都聪明许多，包括科学创新、通识和社交技能。在超人工智能阶段，人工智能已经跨过“奇点”，其计算和思维能力已经远超人脑。此时的人工智能已经不是人类可以理解和想象。人工智能将打破人脑受到的维度限制，其所观察和思考的内容，人脑已经无法理解，人工智能将形成一个新的社会。

目前我们仍处于弱人工智能阶段。
想要到强人工智能至少还需20年。
至于超人工智能我想也不敢想，实在是的太强了啊！

三、机器学习

机器学习（MachineLearning）简称ML。机器学习属于人工智能的一个分支，也是人工智能的和核心。机器学习理论主要是设计和分析一些让计算机可以自动”学习“的算法。

机器学习是一门多领域交叉学科，涉及概率论、统计学等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

以下是机器学习的应用，与不同方向的结合。可以看出机器学习具有很强的融合性。

1.模式识别

模式识别=机器学习
两者的主要区别在于前者是从工业界发展起来的概念，后者则主要源自计算机学科。

2.数据挖掘

数据挖掘
数据挖掘=机器学习+数据库
一个拥有数据挖掘思维的人员是关键，而且还必须对数据有深刻的认识，这样才可能从数据中导出模式指引业务的改善。大部分数据挖掘中的算法是机器学习的算法在数据库中的优化。

3.统计学习

统计学习
统计学习近似等于机器学习
这是个与机器学习高度重叠的学科。因为机器学习中的大多数方法来自统计学，甚至可以认为，统计学的发展促进机器学习的繁荣昌盛。这个分别在于：统计学习者重点关注的是统计模型的发展与优化，偏数学，而机器学习者更关注的是能够解决问题，偏实践，因此机器学习研究者会重点研究学习算法在计算机上执行的效率与准确性的提升。

4.计算机视觉

计算机视觉
计算机视觉=图像处理+机器学习。图像处理技术用于将图像处理为适合进入机器学习模型中的输入，机器学习则负责从图像中识别出相关的模式。

5.语音识别

语音识别
语音识别=语音处理+机器学习。语音识别就是音频处理技术与机器学习的结合。语音识别技术一般不会单独使用，一般会结合自然语言处理的相关技术。

6.自然语言识别

自然语言处理
自然语言处理=文本处理+机器学习。自然语言处理技术主要是让机器理解人类的语言的一门领域。作为唯一由人类自身创造的符号，自然语言处理一直是机器学习界不断研究的方向。

机器学习还是有很多方向的，如果能选择其中一条路一直精进下去，你一定会变得很强。（感觉是废话）

四.深度学习

深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。

深度学习（DeepLearning）简称DL。最初的深度学习是利用深度神经网络来解决特征表达的一种学习过程。深度神经网络本身并不是一个全新的概念，可大致理解为包含多个隐含层的神经网络结构。为了提高深层神经网络的训练效果，人们对神经元的连接方法和激活函数等方面做出相应的调整。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，如图象、声音、文本。

注意：你可能在接触深度学习的时候也听到过监督学习、非监督学习、半监督学习等概念，下面就顺便对这三个名词解析下：

1）监督学习：用一部分已知分类、有标记的样本来训练机器后，让它用学到的特征，对没有还分类、无标记的样本进行分类、贴标签。多用于分类。

2）非监督学习：所有的数据没有标记，类别未知，让它自己学习样本之间的相似性来进行分类。多用于聚类。

3）半监督学习：有两个样本集，一个有标记，一个没有标记。综合利用有类标的样本（ labeled sample）和没有类标的样本（ unlabeled sample），来生成合适的分类。

总结

简单地再化为一句话：
机器学习就是一种实现人工智能的方法，而深度学习是一种实现机器学习的技术。

以下这个图中就可以很清楚地看出他们之间的关系，在这里给大家说一句，深度学习真的真的只是机器学习中的一小部分，但要真正深入搞懂，路还真的很长