qq_40103460的博客

实现对一系列数据集的训练和测试需要以下几个步骤：建立一个学习算法的大体结构    1.1初始化参数    1.2计算代价函数和梯度propagete（），包括前向传播和后向传播    1.3使用一个优化算法优化参数，optimize（），用训练后的参数测试给定的例子    1.4搭建模型，使用以上函数以正确的顺序构建一个完整模型    注1：需要用到的packages：以逻辑回归为例有numpy，...

建立DNN深度学习架构：1.初始化参数W，b:根据给定的layer_dims即各层单元数信息，对各层参数Wl，bl进行初始化，对于第l层Wl的维度为（layer_dims[l],layer_dims[l-1])，可以使用np.random.randn(shape)进行初始化。bl的唯度为(layer_dims[l],1)，可以使用np.zeros((shape))进行初始化2.前向传播：前向传播主...

1.关于参数的初始化    1.1 避免W的零初始化，W初始化为零会导致对称性，即不同神经元做的工作类似，从削弱神经元的影响，在最极端的情况下即所有层的Wl都初始化为零，则原神经网络退化为线性回归，这是个非常不好的现象，所以通常对W使用随机初始化以打破对称性，而b可以零初始化因为b的影响较小    1.2避免W的初始化值过大，会导致神经网络表现不好，如cost下降慢等现象    1.3He初始化非...

1.Mini_batch gradient descent 小批量梯度下降法思想：batch gd是一次性处理所有数据，在数据集较大时比如500万个样本，一次迭代的时间会很长，而mini_batch gd是把数据集分为多个子数据集，每个eopch中对子集进行一次处理实现：实现mini_batch分为两步，第一步shuffle，将原集打乱，乱序步骤确保将样本被随机分成不同的小批次。第二步partit...

给定CNN结构：conv2d--relu--MaxPool--conv2d--relu--MaxPool--FullConnected1.数据集预处理：和普通神经网络不同的是，CNN中输入的训练集和的测试集只需进行单位化处理而不需要flatten，因为卷积过程并没有化矩阵为向量，而是对矩阵进行处理。对于多维输出Y需要进行one_hot处理将其变为对应矩阵。2.定义相关函数：    2.1设置占位符...

1.下载训练集数据和测试集数据2.利用pytorch定义一个CNN： CNN结构：conv1-->relu-->pool-->conv2-->relu-->pool-->view()-->fc1-->relu-->fc2-->relu-->f3pytorch中神经网络的一般形式:class Net(nn.Module):      ...

一 数据加载：1.读取csv文件.csv文件一般为注释所在的文件，使用pandas包可以简单的解析出csv文件import pandas as pdlandmarks_frame=pd.read_csv("faces/face_landmarks.csv'') #参数为csv文件所在的文件夹2.对于读取到的注释信息可以做一定处理，一般第一列为图像名字，后面的列为图像中注释的具体信息img_name...

1. 总述：在实践中，很少人从头开始训练整个大型神经网络，因为个人很难掌握大量的数据集，这样即使从头开始训练，得到的网络也不一定让人满意。因此，在一个非常大的数据集上与训练Convnet是很有必要的，经过预训练的ConvNet可以用来初始化也可以作为特征提取器，接下来介绍集中迁移学习的思路。    1.1ConvNet作为固定特征处理器：下载一个已经在ImageNet或者其他大型数据集上预训练的C...