AI作业5

1.人工智能、机器学习、深度学习之间的关系

        人工智能最先开始，也是最广泛的概念，然后是机器学习，属于人工智能中的一个分支，深度学习属于近些年的产物，属于机器学习，它是使用深度神经网络的技术。

包含关系见下：

       

2.神经网络与深度学习的关系

       深度学习是基于多层神经网络这种模型的机器学习算法。 二者密切相关
3.“深度学习”和“传统浅层学习”的区别和联系

        区别：主要是深度不同，二者擅长解决的问题不同，深度学习比传统浅层学习模型更加复杂，但是可以解决传统浅层学习不能解决的一些问题，各有利弊

        联系：都属于机器学习，“深度学习”是基于“传统浅层学习”发展而来的。
4.神经元、人工神经元

        传统神经元是指生物神经元

        人工神经元是借鉴了生物神经元，都是由输入、输出，和中间的处理。其中中间处理是经过计算，判断是否达到阈值来输出不同的结果。
5.MP模型

        由提出这个模型的两位科学家的名字命名，是后续神经网络以及相关的机器学习算法的基石。模型大概为：给各各输入设置不同权重，对其它们进行线性加权求和（不加偏置），判断是否达到阈值以分类。
6.单层感知机 SLP

        在MP模型上加了偏置和激活函数以提高学习能力。比如加上Sigmoid函数实现二分类
7.异或问题 XOR

异或：相异为1，相同为0，无法用一条直线将0、1分开

         这个问题曾经让神经网络进入寒冬，因为当时只研究到了单层感知机，无法解决非线性的分类问题，直至多层神经网络的出现

8.多层感知机 MLP

        在单层的基础上在输入和输出层之间至少加了一个隐藏层，所谓隐藏层就是机器自己学习生成的，其中的所有，包含权重等都是对外不可见的。每个隐藏层都有很多神经元。属于前馈神经网络。
9.前馈神经网络 FNN

              FNN可以看作单层感知机的拓展，只是层次更多，加了隐藏层，且满足层间神经元全连接，层内不连接，且没有反馈机制，只是输入单向流到输出层，因为全连接，所以网络之间层间神经元关系错综复杂，学习和表达能力更强。
10.激活函数 Activation Function

       激活函数可以实现线性分布到非线性的转换。将神经元加权求和得到的值传给激活函数，最后产生输出。
11.为什么要使用激活函数？

        为了弥补现实和理想的距离，现实生活中很少有分布是线性的，加入激活函数使其学习表达能力提高
12.常用激活函数有哪些？

       Sigmoid函数：

        值域为(0,1)，可以用来解决二分类问题。

        ReLU函数：

        该函数变种很多且如今是最流行的激活函数之一。

        tanh函数：

        与Sigmoid函数形状类似，但是值域在(-1,1)之间，关于原点对称

        这三个函数都是多阶可导的，具有良好的性质。
13.均方误差和交叉熵损失函数，哪个适合于分类？哪个适合于回归？为什么？

        均方误差适合于回归，交叉熵损失函数适合于分类。

        比如线性回归问题中损失函数为均方误差函数，逻辑斯蒂回归是解决二分类问题，损失函数为交叉熵损失函数

        因为回归问题损失函数是想衡量预测值和真实值之间的距离，均方误差可以实现

        而分类问题的损失函数是想衡量模型输出的概率和真实标签的概率之间的差距，交叉熵损失函数可以实现。