鹅的学习日记 22/5/31

---

前言

深度学习的第一天，开始学习邱锡鹏教授的《神经网络与深度学习》一书。首先学习了第一章绪论部分，对深度学习有了一个简单的了解。

---

一、什么是人工智能？

人工智能是计算机科学的一个分支，它就是要让机器拥有人类的智能，就是让机器的行为看起来就像是人所表现出的智能行为一样。
主要领域大体分为以下三个方面：
1、感知：信息处理，计算机视觉等
2、学习：监督学习，无监督学习等
3、认知：表示，理解，规划，决策等

二、什么是机器学习？

机器学习是指从有限的观测数据中学习出具有一般性的规律，并利用这些规律对未知数据进行预测的方法。

一般将原始数据表示为特征，将特征输入到预测模型，输出预测结果。

机器学习中包括了浅层学习，浅层学习的重要特点是，特征主要靠人工经验或特征转换方法来提取，

特征处理主要包括以下三个阶段：
1、数据预处理，主要是去除有缺陷的数据和冗余数据，再进行加工（归一化处理）
2、特征提取，从数据的原始特征中找出更有用的高质量特征。比如图像分类的边缘提取，文本分类的去除停用词，尺度不变特征变换等。
3、特征转换，对特征进行更近一步加工，比如升维和降维，可以降低问题的解决难度，比如把非线性问题转换为线性问题。

传统的机器学习中，主要关注预测模型的建立，但在实际过程中，不同模型的性能相差不多，反而是特征处理的结果对最终系统有着更为关键的影响，特征处理主要利用人类经验选取好的特征，因此许多机器学习问题变成了特征工程问题。

三、表示学习

为了提高系统的性能，需要将输入信息转换为特征（表示）。如果可以有一种算法可以自动地学习出有效的特征，并提高最终的性能，这种学习被称为表示学习

表示学习的关键是语义鸿沟。底层特征和高层语义存在着差异性，高层语义可以更容易地构建预测模型。

机器学习中的特征表示分为局部表示和分布式表示。
局部表示，又被称为离散表示或符号表示，通常用one-hot向量来表示
分布式表示，维度比局部表示低，是一种低维的稠密度向量，比如颜色可以用RGB值来表示。
高维的局部表示映射到低维的分布式表示，被称为嵌入。

我们要得到好的高层语义表示（一般为分布式表示），通常要从底层特征开始，经过多步非线性变换才能得到。深层结构可以增加特征的重用性，指数级的增加表示能力，因此表示学习的关键是构建具有一定深度的多层特征表示。

四、深度学习

为了学习一种好的表示，需要构建具有一定“深度”的模型，并通过学习算法来让模型自动学习出好的特征表示，从而最终提升预测模型的准确率。“深度”是指原始数据进行非线性特征转换的次数。
我们就需要一种学习方法可以从数据中学习一个“深度模型”，这就是深度学习。深度学习是机器学习的一个子问题，其主要目的是从数据中自动学习到有效的特征表示，避免“特征工程“。
和”浅层学习“不同的是，深度学习的关键是贡献度分配问题，就是系统中不同的组件对最终结果的贡献和影响大小。
深度学习目前主要采用的是神经网络模型，主要是因为它可以用误差反向传播算法较好地解决贡献度分配问题。
大部分神经网络模型的深度学习都可以看作一种端到端的学习。传统的机器学习方法会将复杂的问题分解成一个个子模块。而端到端学习不进行分模块和分阶段的训练，直接优化任务的总体目标。

五、神经网络

科学家通过模拟人脑的神经系统建立了一种数学模型，人工神经网络简称神经网络。
在机器学习领域，神经网络是指由很多人工神经元构成的网络结构模型，这些人工神经元之间的连接强度是可学习的参数
人工神经网络与生物神经元类似，由多个节点（人工神经元）互相连接而成，可以用来对数据之间的复杂关系进行建模，不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小。每个节点代表一种特定函数，来自其他节点的信息经过其相应的权重综合计算，输入到一个激活函数中并得到一个新的活性值（兴奋或抑制）。
从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。
反向传播算法是最为流行的神经网络算法。

总结

人工智能是计算机学科的分支之一，机器学习是人工智能的分支之一。机器学习是根据数据，找出特征，总结规律，进行预测。人工经验找到有用特征为浅层学习，根据算法自动学习有效特征为表示学习。更好的表示学习需要深度模型即深度学习，深度学习采用的主要模型为神经网络模型。
以上就是一些简要的介绍。