pangpd的博客

前言Mark【Graph Neural Network】GraphSAGE: 算法原理，实现和应用https://zhuanlan.zhihu.com/p/79637787

https://www.cnblogs.com/SivilTaram/p/graph_neural_network_2.html欧式空间中的卷积操作实际上是用固定大小可学习的卷积核来抽取像素的特征，比如这里就是抽取绿色结点对应像素及其相邻像素点的特征。但是因为图里的邻居结点不固定，所以传统的卷积核不能直接用于抽取图上结点的特征。...

1. 前言在博客中计算PyTorch模型的FLOPs 一文中，介绍了到了衡量一个深度学习模型大小的指标，尤其是FLOPs，它衡量了一个模型的复杂度。如果计算FLOPs，在下面我们介绍了两款工具。THOP: PyTorch-OpCounter与torchstat源码下载链接：THOP: PyTorch-OpCounter：https://github.com/Lyken17/pytorch-OpCountertorchstat：https://github.com/Swall0w/torchstat

1. 衡量深度学习模型重量级的指标参数量：CNN:一个卷积核的参数 = kkCin+1一个卷积层的参数 = (一个卷积核的参数)卷积核数目=kkCinCout+CoutFLOPS:注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。FLOPs:注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。

在CVPR 2017上，来自Momenta的高级研发工程师胡杰，代表他的WMW团队分享了获得ImageNet冠军的模型SENet。分享获得了极大的好评，以下是胡杰的现场发言整理，希望可以和更多的人分享这一精妙模型。我是Momenta高级研发工程师胡杰，很高兴可以和大家分享我们的SENet。借助我们提出 SENet，我们团队（WMW）以极大的优势获得了最后一届ImageNet 2017竞赛 Image Classification任务的冠军，并被邀请在CVPR 2017的workshop（Beyond Im

摘要最近的研究表明，如果在靠近输入层与输出层之间的地方使用短连接（shorter connections），就可以训练更深、更准确、更有效的卷积网络。在这篇文章中，我们基于这个观点，介绍了稠密卷积网络（DenseNet），该网络在前馈时将每一层都与其他的任一层进行了连接。传统的 L层卷积网络有L个连接——每一层与它的前一层和后一层相连——我们的网络有L(L+1) / 2 个连接。每一层都将之前的所有层的特征图作为输入，而它自己的特征图是之后所有层的输入。DenseNets有一些很不错的优点：有助于解决梯度

前言空洞卷积：Dilated/Atrous Convolution 或称 Convolution with holes ，从字面上就很好理解，是在标准的 convolution map 里注入空洞，以此来增加 reception field（感受野）。相比原来的正常convolution，dilated convolution 多了一个dilation rate的超参数指的是kernel的间隔数量(标准卷积的dilatation rate = 1)关于空洞卷积的可视化可以查看链接https://gith

前言使用深度学习训练模型时，数据的随机分布非常重要，增加模型的泛型能力，防止过拟合！shuffle()函数在原有数据的基础上操作，打乱元素的顺序，无返回值import numpy as nparr = np.arange(10)print(arr)[0 1 2 3 4 5 6 7 8 9]np.random.shuffle(arr)print(arr)[6 4 7 3 0 1 ...

【题目】Deep Residual Shrinkage Networks for Fault Diagnosis【翻译】基于深度残差收缩网络的故障诊断Abstract (摘要)【翻译】本文提出了一种新的深度学习方法，名为深度残差收缩网络，来提高深度学习方法从强噪声信号中学习特征的能力，并且取得较高的故障诊断准确率。软阈值化作为非线性层，嵌入到深度神经网络之中，以消除不重要的特征。更进一...

**加粗样式** 这两种网络模型搭建思想上有异曲同工之妙，本来想找个时间对这两种模型进行一个详细的总结。参考了很多博客，发现许多大牛都已经总结的非常对位。这里我就不进行详细总结了。下面列出了我认为几个总结比较好的链接，方便以后查阅。ResNet2015年，作者He-Kaiming, Ren-Shaoqing, Sun-Jian论文：《Deep Residual Learning for...

LeNet-5​ LeNet-5出自论文**《Gradient-Based Learning Applied to Document Recognition》（1998年），是一种用于手写体字符识别的非常高效的卷积神经网络。Lenet-5是Yann LeCun提出。由于LeNet-5是针对识别手写体识别所提出的网络，所以输入的大小为32 x 32 x 1**的灰度图像​ LeNet-5共有...

NIN​ 该模型出自于**《Network in Network》**，这篇文章是2014年发表，虽然时间比较早，但是所提出的创新点还是比较有意义，它对传统的CNN卷积和FC结构的分类网络进行两方面的改进：提出 MLP convolution layers用 Global Average Pooling（全局平均池化层）结构代替全连接​ 以上两点，其在较大程度上减少了参数个...

​ 训练集：训练模型；​ 验证集：选择模型；​ 测试集：评估泛化误差；​ 在这里关于训练集，验证集和测试的概念我们不会去过多介绍。这里主要说一下关于这三个集合在深度学习的使用过程中碰见的一些小问题。经常，不管是在文献还是在看一些人写的代码时，总会碰到这些作者仅仅划分了训练集和测试集，并未使用验证集。他们使用测试集选择模型，然后使用相同的测试集来计算误差，这并不是一个好的方式！ 通过测...

前言​ SoftMax和Sigmoid是搭建神经网络时常见的两种激活函数。由于最近在做一个多分类的任务，使用到了Softmax函数，这里仅简单提一下Sigmoid，详细介绍Softmax函数。Sigmoid​ Sigmoid函数由下列公式定义​ Sigmoid函数的图形如S曲线SoftMaxSigmoid函数由下列公式定义softmax 的作用是把 一个序列，变成概率。s...

z-score 标准化(zero-meannormalization)：将数据按期属性（按列进行）减去其均值，并除以其标准差。得到的结果是，对于每个属性/每列来说所有数据都聚集在0附近，方差为1，其公式![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly93d3cuenlidWx1by5jb20vY21kL2ltZy9jb2RlJTIwcmVuZGVyLn...

全连接层（FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。...