1. 梯度下降算法的步骤
1初始化权重和偏差
2输入送到网络,得到输出值
3计算输出值和真实值之间的误差
4对每一层调整相应的权重以减少偏差
5重复迭代,直到真实值和输出值之间误差最小
2、下面哪项操作能实现跟神经网络中Dropout的类似效果?
先介绍什么是bagging和boosting
bagging是从原始样本集中抽取训练集。每轮从原始样本集中使用有放回抽样[booststrap]的方法抽取n个训练样本(在训练集中,有些样本可能被多次抽取到,而有些样本可能一次都没有被抽中)。共进行k轮抽取,得到k个训练集。(k个训练集之间是相互独立的,有一些交集也是相互独立的)
boosting的主要思想是将弱分类器组装成一个强分类器。在PAC(概率近似正确)学习框架下,则一定可以将弱分类器组装成一个强分类器。
每次使用一个训练集得到一个模型,k个训练集共得到k个模型。
而Dropout可以认为是一种极端的Bagging,每一个模型都在单独的数据上训练,同时,通过和其他模型对应参数的共享,从而实现模型参数的高度正则化。**
3. 什么是卷积?
图像不同的数据窗口和一个固定滤波矩阵做内积(逐个元素相乘再求和)的操作就是所谓的『卷积』操作,也是卷积神经网络的名字来源。
4.什么是CNN的池化pool层?