深度学习基础
1、什么是梯度以及梯度下降?
答:梯度是一个向量(矢量),表示某一函数在该点处的领域内一阶导数较大的方向上取得的较大值 ,也就是该点变化率最大的方向。梯度下降就是曲线或曲面上的某点沿着该点梯度的反方向移动。
2、什么是线性可分和线性不可分?线性不可分问题转换为线性可分问题有几种方法?分别是什么方法?
答:线性可分:可使用直线或是超平面解决的问题。线性不可分:使用两条及以上直线或两个及以上超平面才能解决问题。
线性不可分问题可通过添加激活函数、升维两种方法转换成线性可分问题。即第一种是在当前维度下将一条直线转换成曲线,第二种是将当前维度升高一个维度,比如将二维空间中的线性不可分问题升高到三维空间中,那么就很有可能变得线性可分。
3、sigmoid和tanh激活函数的区别是什么?sigmoig作为网络中间激活层和网络输出层的区别是什么?
答:区别是:1、两者值域不同,sigmoid的值域为(0, 1),tanh的值域为(-1, 1) ;2、两者梯度(一阶导数)最大值不同,Sigmoid的梯度最大值是0.25,tanh的梯度最大值为1;3、做为激活函数而言,tanh 的非线性能力要强于sigmoid的非线性能力。做为输出函数,代表的意义不同,经过sigmoid输出的是一个概率值,而经过 tanh输出的是一个带有方向性的分布值(在强化学习中可将激活后的值作为目标移动方向)。
sigmoig作为网络中间激活函数的作用是:提供非线性能力;作为网络输出函数的作用是压缩数据,是输出限定在(0,1)之间,将其视为一个概率值。
4、数据归一化的方法有哪些?为什么要使用归一化?归一化和标准化的区别是什么?
答:归一化的方法有两种:均值归一化(标准化:均值为0,方差为1 );最值归一化
归一化的作用:1、压缩数据,避免精度溢出(神经网络是连乘的,很容易导致数值太大精度溢出);2、减小异常数据对模型稳定性的影响,一般异常数据会使模型学偏,归一化后起到正则化的作用修正网络模型学习的方向;3、还可防止使用Sigmoid激活函数引起的精度爆炸和梯度弥散问题。
均值归一化使得每个数据减去均值相当于剔除和其他数据的共性,保留数据间的差异性,移动了数据的分布。 最值归一化将数据压缩到一定范围内,使得数据更易收敛,相当于做了数据分布形状的变化。
5、模型评估的方式有哪些?ROC曲线是由那些值构成的?什么是AUC?mAP是由哪些值构成的?ROC和MAP的区别是什么?
答:
6、a = numpy.array([ [3, 5, 9], [4, 2, 1], [ 6, 3, 7] ]) print(a[[2, 0, 1],[1, 2, 0]])
x = numpy.arange(12).reshape([3, 2, 2]) print(x[: 2, 1:, 0])
输出结果是什么?
答:[3, 9, 4] 和 [[2], [6]]
7、人工智能按模型分类为哪几种?按学习方式分为哪几种?按学习步骤分为哪几种?
答:判别模型和生成模型
有监督、无监督、半监督、自监督
端到端学习和非端到端学习
8、聚类问题、分类问题、回归问题和拟合问题的区别
答:聚类问题属于无监督分类问题。
分类问题指样本是有标签的(有监督)。本质都是区分数据的类别。模型的输出为一个概率值。
回归问题:模型输出的是具体的值。关注的是变量与变量之间的关系。
拟合问题:求解的是函数本身。拟合侧重于调整曲线的参数,使得与数据相符。
9、什么是过拟合?
答:过拟合表现为训练集损失一直在降低,但测试集准确率先上升在下降的样子。
Hinton在Dropout的论文中定义为模型学到了训练集中噪声的分布,但测试集的噪声是训练集没有的,所以模型在测试集上表现很差。
10、AI模型的研发流程是什么?
答:数据处理、模型研发、测试评估、模型部署。
11、交叉验证及步骤是什么?
答:应用于数据量较少的时候。
12、模型的泛化能力指的是什么?
答:模型的通用性。
13、分类问题中,常见的评价指标有哪些?
答:性能指标、精度指标、泛化能力。
14、顶帽操作的作用是什么?
答:获取图像的噪声。
15、开操作与比操作是什么以及何时使用?
答: 开运算,就是先腐蚀后膨胀的过程。一般用来去除背景噪音。闭运算,先膨胀后腐蚀的过程。能够使用周围像素填补小型缺陷区域。
16、Canny算法的实现步骤是什么?
答:彩色图像转换为灰度图像、高斯滤波,滤除噪声点、计算图像梯度,根据梯度计算边缘幅值与角度、非极大值抑制、双阈值边缘连接处理、二值化图像输出结果
17、RGB和HSV的区别是什么?
答:RGB代表红绿蓝三种颜色,HSV代表色相、饱和度和亮度。RGB表达的颜色值是一个离散的空间,而HSV体现的颜色值是个连续的区间。