qq_21578849的博客

这是吴恩达老师深度学习工程师（网上有资源，大家可以去看看吴老师的课程，还是很有收获。），第二次课第三周的课后实例作业，可以作为初学者练手的好项目。原项目是tensorflow写的，我又用pytorch写了一遍。数据文件和完整代码都传到github上了。详情见：https://github.com/idotc/Gesture-digit-recognition一、Problem statement...

模型权重的初始化对于网络的训练很重要, 不好的初始化参数会导致梯度传播问题, 降低训练速度; 而好的初始化参数, 能够加速收敛, 并且更可能找到较优解。六种权重初始化一、W初始化为0在线性回归和logistics回归中可以使用，因为隐藏层只有一层。在超过一层的神经网络中就不能够使用了。因此如果所有的权重参数都为0，那么所有的神经元输出都是一样的，在back propagation的时候...

参考文献：1、 https://www.zhihu.com/question/587162672、 https://www.cnblogs.com/pinard/p/6494810.html3、 https://blog.csdn.net/qq_21190081/article/details/728717044、 http://jermmy.xyz/2017/12/16/2017-12-...

在模型训练中，有时候需要把模型的权重可视化出来，检查模型权重是否有问题。caffe模型中可视化往往需要一个prototxt文件，不是很方便，因此需要可以直接利用model解析的方法。一、利用model和prototxt可视化import caffeimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlinede...

一、tensor操作1. 新建A、torch.Tensor(shape)/torch.FloatTensor(shape)：随机初始化一个维度为shape的张量。B、torch.randn(shape)：用均值为0，方差为1的高斯分布初始化一个shape的张量。C、torch.rand(shape)：在区间[0,1]上均匀分布，初始化一个shape的张量。2、Tensor的变换A...

**前言：**最近在构建网络的时候，有一些层参数一样，于是就没有定义新的层，直接重复使用了原来已经有的层，发现效果和模型大小都没有什么变化，心中产生了疑问：定义的网络结构层能否重复使用？因此接下来利用了一个小模型网络实验了一下。...

模型保存与加载常用有两种方法，第一种是保存整个模型，包括模型的结构和参数；第二种是保存模型的参数。推荐使用第二种，因为模型一旦很大，第一种加载耗时长，其次第二种加载方式更加灵活，可以加载其他模型的预训练参数，从而使用迁移学习的方法减小训练时长。一、保存/加载整个模型保存模型：torch.save(net, ‘model_net1.pkl’)加载模型net_parm = ‘model_...

本篇文章接着上篇文章（https://blog.csdn.net/qq_21578849/article/details/84841649） 的模型继续探讨如何使用GPU训练。使用GPU 训练可以大幅提升运算速度，降低时间成本，提高深度学习的体验感。 Pytorch 有一套很好的支持 GPU 运算体系.，因此使用起来非常方便。在代码中使用GPU训练主要有三处需要注意：模型转为cuda，数据转为c...

在TensorFlow中，权重的初始化主要是在声明张量的时候进行的。 而PyTorch则提供了另一种方法：首先应该声明张量，然后修改张量的权重。通过调用torch.nn.init包中的多种方法可以将权重初始化为直接访问张量的属性。**1、不初始化的效果**在Pytorch中，定义一个tensor，不进行初始化，打印看看结果：w = torch.Tensor(3,4)print (w)...

前言：最近刚好做一个项目需要做detection，选择的算法是yolo v3，因为它既有速度又有精度，还非常灵活，简直是工业界良心。做项目免不了需要用到自己的数据集，所以的从头一个脚印的来，走通了之后决定写一个帖子，以免需要用的人少走歪路，节约时间。官网上已经教我们如何跑起来yolo v3，因此大部分时间其实花在制作数据集上。总体来说，分为四个步骤，分别是：标注数据，利用voc制作自己的数据集，...

Batch Normalization (BN)Layer Normalization (LN)Instance Normalization (IN)Group Normalization (GN)一、Batch Normalization (BN)一个feature map为：NCW*H，BN在N、W、H维度上求均值和方差，保留C的维度。 比如在第一个样本的第一个通道，第二个样本的...