神经网络与深度学习——绪论

以下为对神经网络与深度学习这本书的学习笔记

对于人工智能：
John McCarthy提出了人工智能的定义：“人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样。”人工智能是计算机科学的一个分支，主要研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统等。
关于“智能”的定义，阿兰·图灵（Alan Turing）提出了著名的图灵测试：“一个人在不接触对方的情况下，通过一种特殊的方式，和对方进行一系列的问答。如果在相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的”。要使得计算机能通过图灵测试，计算机必须具备理解语言、学习、记忆、推理、决策等能力。
目前，人工智能的主要领域大体上可以分***感知、学习、认知***。
对于人类来说，感知和认知网往往是瞬间发生的，但是对于人工智能来说，从感知到认知是一个重要的研究方向，计算机不如人类，或许就是因为机器的认知能力差，比如，对于人类来说，在开车时看见前面车子的速度变化，人类就可以意识到前面的车要变道，于是可以提前应对，而机器从感知到认知则需要一个过程，简单的说，感知是指我们感受到的某种信息，而认知就是从这种信息中提取或者发现更加深层次的知识，以便于更好地决策，在从感知到认知的过程中就需要进行学习。认知是与需求和条件相关联的，而不是漫无目的的胡乱联想。

对于神经网络：
人类的一起智能活动都和大脑有关，受到人脑神经系统的启发，早期的神经科学家构造了一种模仿人脑神经系统的数学模型，称为人工神经网络（Artificial Neural Network，即ANN ），简称神经网络。
对于人类来说，一个人的智力不仅仅来自遗传，其中大部分是在成长过程中自己学习得到的，也就是说人脑神经网络是一个具有学习能力的系统。在人脑的神经网络，神经元是携带和传输信息的细胞，每个神经元有上千个突触和其它神经元相连接，其中最重要的就是神经元如何组成联接，不同的连接形成了不同的记忆印痕。
对于人工神经网络，它从结构、实现机理和功能上模拟人脑神经网络。是一种运算模型，由大量的节点（即神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。

对于机器学习：
机器学习（Machine Learning，ML）是指从有限的观测数据中学习（或“猜测”）出具有一般性的规律，并将这些规律应用到未观测样本上的方法。
在实际任务中使用机器学习模型一般会包含以下几个步骤：

数据预处理是指去除数据中的噪声，比如在文本分类中去除停用词等；特征提取是指从原始数据中提取一些有效的特征；特征转换是指对特征进行一定的加工和处理，比如降维（其中包括特征抽取和特征选择）。预测是机器学习的核心部分，学习一个函数进行预测。

对于表示学习：
为了提高机器学习系统的准确率，我们就需要将输入信息转换为有效的特征，或者更一般性称为表示（representation）。如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就是可以叫做表示学习（Representation Learning）。表示学习的关键是解决语义鸿沟（Semantic Gap）问题，语义鸿沟问题是指输入数据的底层特征和高层语义信息之间的不一致性和差异性。

对于深度学习：
深度学习是机器学习的一个分支，是指一类问题以及解决这类问题的方法。***深度学习的问题具体是指从有限样例中，通过算法总结出一般性的规律，并可以应用到新的未知数据上，***比如在医疗方面，我们可以通过已有的病例，在此基础上总结出病状和疾病之间的规律，这样在之后出现了这种病状，我们便可以根据这个规律来判断是什么疾病。深度学习的模型：深度学习采用的模型一般比较复杂，指样本的原始输入到输出目标之间的数据流经过多个线性或非线性的组件（components）。因为每个组件都会对信息进行加工，并进而影响后续的组件。

深度学习使机器学习的一个分支，下表简要介绍了两者之间的不同之处：