本次主要内容是进行深度学习的基础知识的学习整理。
目录
绪论
什么是人工智能？
人工智能(Artificial Intelligence):使一部机器像人一样进行感知、认知、决策、执行的人工程序或系统。
关于人工智能、机器学习和深度学习三者的关系：
人工智能是一个领域，而机器学习是其中的一个方法，深度学习又是机器学习中的一个小点。三者属于包含关系。
人工智能的三个层次：
第一层次 - 计算智能：表现为能存能算。经典的例子就是deep blue，主要是使用暴力穷举的方法去计算每一种可能性。
第二层次 - 感知智能：表现为能听会说、能看会认。
第三层次 - 认知智能：表现为能理解，会思考。
人工智能+热潮：
各行各业都展现了新的应用，芝麻信用（人工智能+金融）、淘宝鲁班系统（人工智能+内容创作）。
人工智能的代表方法：
| AI数理基础 | 逻辑：知识表达与推理 | 概率：模型、策略、算法 | ||
| 主流技术 | 逻辑推理 | 知识工程 | 机器学习 | |
| AI学派 | 符号主义(自上而下)(模仿人的心智) | 贝叶斯(自上而下+自下而上) | 联结主义(自下而上) | |
| 代表方法 | 定理证明机 | 专家系统 | 朴素贝叶斯、隐马尔科夫 | 神经网络 |
知识工程/专家系统
根据专家定义的知识和经验，进行推理和判断，从而模拟人类专家的决策过程来解决问题。
比如在邮箱垃圾邮件的识别中，采用专家系统的识别系统中的识别规则是事先由专业人员去设定好的，那么当邮件进入到邮箱以后，就会将此邮件进行逐条规则判别。
而假设采用机器学习的识别系统的话，其识别规则是从已有邮件去进行学习的，由机器自己从现有邮件中去提取垃圾邮件的规则，进行自动训练。
知识工程vs机器学习
| 知识工程 | 机器学习 | |
| 识别规则 | 基于手工设计规则建立专家系统 | 基于数据自动学习 |
| 结果情况 | 结果易于解释 | 减少人工繁杂工作，但结果可能难以理解 |
| 构建效率 | 系统构建费时费力 | 提高信息处理的效率，且准确率较高 |
| 可信度 | 依赖于专家的主观经验，难以保证一致性和准确性 | 来源于真实数据，减少人工规则主观性，可信度高 |
其实本人有一个更好的理解：专家系统像是同学a，一个莫得感情的背书机器；而机器学习是同学b，一个带着脑子去背书的boy。那么当他们去考试的时候，两个人的表现和成绩也会不一样的。
机器学习
机器学习的应用技术领域
computer vision , speech & audio , natural language processing .
机器学习的定义
最常用定义：”计算机系统能够利用经验提高自身的性能“的方法。
可操作定义：”机器学习本质是一个基于经验数据的函数估计问题“。
统计学定义：”提取重要模式、趋势，并理解数据，即从数据中学习“。
机器学习的适用范围
问题规模较大、规则较为复杂、有大量数据、问题是有意义的模式并且问题没有解析解。满足上边条件的问题是可以通过机器学习方法去解决的。（这里主要是为了强调机器学习并不是万能的，就像是线性方程组求解问题，往往只需要计算就可以得到准确解，但是使用机器学习方式去求解会得到一个近似解）。
机器学习的组成
按照概率来看，机器学习由 模型、策略、算法三部分组成。
模型：对要学习的问题映射的假设（问题建模，确定假设空间）。
策略：从假设空间中学习/选择最优模型的标准（确定目标函数）。
算法：根据目标函数求解最优模型的具体计算方法（求解模型参数）。
依靠模型可以有三大分类：数据标记、数据分布、建模对象。
按照数据标记可以分为：监督学习模型、无监督学习模型。
按照数据分布可以分为：参数模型、非参数模型。
按照建模对象可以分为：判别模型、生成模型。
无监督学习从数据中学习模式，适用于描述数据。
监督学习从数据中学习标记分界面，适用于预测数据标记。
半监督学习是假设未标记样本与标记样本独立同分布去预测数据标记。
强化学习是使用未标记的数据，存在奖励反馈机制。
参数模型：对数据分布进行假设，待求解的数据模式/映射可以用一组有限且固定数目的参数进行刻画。比如：线性回归、逻辑回归、感知机、k均值聚类等模型。
非参数模型：不对数据分布进行假设，数据的所有统计特性都来源于数据本身。比如k近邻、SVM、决策树、随机森林等模型。
判别模型：数据直接学习决策函数Y=f(x)或者条件概率分布P(Y|X)得到的预测模型。判别方法：由数据直接学习决策函数Y=f(x)或者条件概率分布P(Y|X)作为预测模型，其关心的是对于给定的输入X，应该预测什么样的输出Y。比如朴素贝叶斯、隐马尔可夫(em算法)。
生成模型：P(Y|X)作为预测的模型就是生成模型。生成方法：由数据学习联合概率分布P(X,Y)，然后由P(Y|X)=P(X,Y)/P(X)求出概率分布P(Y|X)作为预测的模型，该方法表示了给定输入X于产生输出Y的生成关系。比如k近邻法、感知机、决策树、逻辑回归、线性回归、最大熵模型、支持向量机(SVM)、提升方法、条件随机场(CRF)。
深度学习概述
deep learning everywhere.
传统机器学习：人工设计特征。
深度学习的三个要素：
大数据、算法、计算力。其中主要研究的是算法。
深度学习的应用研究：
视觉+语言。
深度学习理论研究：
从“能”到“不能”，认识到深度学习并非可以解决任何问题。
深度学习的“不能”：
（1）算法输出不稳定，容易被“攻击”。
（2）模型复杂度高，难以纠错和调试。
（3）模型层次复合程度高，参数不透明。
（4）端到端训练方式对数据依赖性强，模型增量性差。
（5）专注直观感知类问题，对开放性推理问题无能为力。
（6）人类知识无法有效引入进行监督，机器偏见难以避免。
深度学习的“不能”与解释性
传统机器学习vs深度学习
例子：从巡逻机器人的狗屎检测需求说起：
前深度学习时代：需要提前收集标注的几百张便便图+专家知识驱动的特征设计+专家选择的分类器。
深度学习时代：收集标注的数万张便便图+专家选择深度模型+机器优化深度模型。
后深度学习：花几分钟收集标注几张便便图+机器选择和优化模型。
深度学习的高准确率和低解释率。
连接主义、符合主义：从对立到合作。
深度学习+图谱。数据+知识。
神经网络基础
浅层神经网络
生物神经元
每个神经元都是一个多输入单输出的信息处理单元；
神经元具有空间整合和时间整合特性；
神经元输入分兴奋性输入和抑制性输入两种类型；
神经元具有阈值特性。
M-P神经元
多输入信号进行累加xi。
权值wi正负模拟兴奋/抑制，大小模拟强度。
输入和超过阈值，神经元就会被激活。
单层感知机
M-P神经元的权重预先设置了，没有办法进行学习。
单层感知机是首个可以进行学习的人工神经网络。
其可以实现简单的与或非门。
多层感知机
在单层感知机的基础上又添加了一层或多层感知机，实现同或/异或门。
万有逼近定理
如果一个隐层包含足够多的神经元，三层前馈神经网络(输入-隐层-输出)能以任意精度逼近任意预定的连续函数。
当隐层足够宽时，双隐层感知器(输入-隐层1-隐层2-输出)可以逼近任意非连续函数：可以解决任何复杂的分类问题。
激活函数
激活函数的作用
没有激活函数那么神经网络只能拟合线性函数，即多层和一层是一样的。
激活函数举例
sigmoid函数，tanh函数，Relu函数，Leaky Relu函数。
神经网络的构建
神经网络中每一层的作用
神经网络学习如何利用矩阵的线性变换加激活函数的非线性变换，将原始输入空间投影到线性可分的空间去分类/回归。
增加节点数：增加维度，即增加线性转换能力。
增加层数：增加激活函数的次数，即增加非线性转换次数。
神经网络应该是更宽还是更深？
在神经元总数相当的情况下，增加网络深度可以比增加宽度带来更强的网络表示能力：产生更多的线性区域。
深度和宽度对函数复杂度的贡献是不同的，深度的贡献是指数增长的，而宽度的贡献是线性的。
神经网络的参数学习：误差反向传播
多层神经网络可以看成是一个复合的非线性多元函数F(_):X->Y。
链式求导法则去实现参数的学习。
梯度和梯度下降
梯度下降问题
增加深度会造成梯度消失，误差没有办法传播。
多层网络容易陷入局部极值，难以训练。
目前三层神经网络是主流；预训练，新激活函数使深度成为可能。
预训练
逐层预训练，即先训练第一个隐层，再训练第二个隐层，一直全部训练好。将训练好的网络参数作为神经网络参数的初始值。
解决梯度消失问题
Layer-wise Pre-train、Relu函数、辅助损失函数、逐层的批归一化、LSTM。
目前不理解的部分：
判别模型和生成模型理解不够，总觉得只是知道这两个概念。
4989
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
