AI|机器学习|表示学习|深度学习: 基础概念和历史介绍

本人只是一枚人工智能领域的萌新，所以如果本文中有各种问题，欢迎大佬们在评论区指正或者发邮件至tenawalcott@gmail.com，谢谢

个人博客地址

---

1.1 简介

人们总是希望机器可以独立思考，完成特定的任务。人们把世间的任务可以被分为两种：一种抽象公式化的任务，我们靠既定的规则来完成，比如下象棋，另一种是简单主观的，我们依靠意识和经验来完成，比如认清一个人的脸和声音。显然机器更擅长完成第一种任务，比如IBM的深蓝轻松击败了所有人类棋手，但是对于日常生活中更常见的第二种任务，常规的机器很难完成，所以就需要AI了

---

1.2 基础概念

学习深度学习我们首先需要区分几个概念

1.2.1 人工智能(AI)

人工智能作为一个新闻热词，在学术领域用的并不多，人工智能更像是一个领域和方向，在这个方向下有若干主题和应用。所以不要被各种AI班骗了，你是不可能用一个班学完人工智能的

1.2.2 知识库(Knowledge Base)

一种人为将世间物品编码并让机器记忆的学习方式，著名的案例是Cyc，如今基本被放弃

1.2.3 机器学习(ML)

首先明确一个概念叫表示(representation)，它基本等同于另外一个概念：特征(factor)

机器通过这些表示来判断结果

在机器学习中这些表示是人为规定的，机器的任务是找出这些表示与结果的关系

例子: 逻辑回归，朴素贝叶斯分类

弊端：选择什么样的特征由人为决定，十分主观

1.2.4 表示学习(Representation Learning)

解决机器学习选择特征困难问题的方法就是让机器自己找特征。
表示学习所做的正是让机器根据元数据寻找特征同时寻找特征与结果的关系

例子：自编码器：一种可以将输入内容进行多种编码并解码的东西

弊端：不能直接被观察到的因素可能会影响结果

1.2.5 深度学习(Deep Learning)

通过简单特征构造复杂表示

显示层(Visible Layer): 输入的数据，与表示学习中一样

隐藏层(Hidden Layer): 机器根据元数据抽取出来的特征

深度学习在表示学习上加入了隐藏层，从而达到提取不能被观察到的特征同时不需要人为干预的结果

例子：多层感知机(MLP)

---

1.3 历史

1.3.1 控制论(Cybernetics)

控制论是指通过模拟人脑的方式制造人工神经网络(ANNs), 这些模型大多是线性模型，即根据一些特征和权重来线性组合求结果。历史上有众多权重的计算方法

例子：

1. McCulloch-Pitts: 通过人工设置权重完成模型
2. 感知机和ADALINE: 计算机自行学习权重
3. 随机梯度下降法(Stochastic gradient descent): ADALINE的发展，通过梯度下降法求权重

1.3.2 连接(Connectionism)/平行分布式处理(Parrel Distributed Processing)

包含多层分析

每个数据被表示为若干个特征，每个特征有多个数据组成

例子：

1. 长短期记忆(LSTM)
2. 加拿大高级研究所(CIFAR): NCAP

深度学习之父: Geoffrey Hinton

1.3.3 发展趋势

更大的数据集

更大的模型: 每2.4年网络就会翻一倍

更精确的模型