weixin_38621449的博客

LeNet-5解析网络结构：激活层默认不画网络图当中，这个网络结构当时使用的是sigmoid和Tanh函数，还没有出现Relu函数将卷积、激活、池化视作一层，即使池化没有参数参数形状：AlexNet解析2012年，Alex Krizhevsky、Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计出了一个深层的卷积神经网络AlexNet，夺得了2012年ImageNet LSVRC的冠军，且准确率远超第二名（top5错误率为15.3%，第二名为26.2%），引起了很大

1x1卷积核相关作用在深度神经网络中卷积的作用是对局部进行加权求和，提取特征图，卷积核的大小一般为奇数卷积核的个数为卷积后特征图的通道数。1x1卷积(MLP卷积) 一种新的深度网络结构，又被称为网中网（Network In Network）,增强接受域内局部贴片的模型判别能力作用：1x1的卷积核可以实现卷积核通道数的降维和升维，实现参数减少化从图中看到1x1的卷积过程，如果卷积核有三个，则最终结果为56x56x3,每一个卷积核看作是对原图像三个通道进行了线性组合。通常在卷积之后加入非线性激活函数

本文系转载，意在加深自己理解并时常回顾，原文链接：原文跳转声明：阅读本文需要了解线性代数里面的点乘（图像卷积的原理），高等数学里的二元函数的梯度，极大值定义，了解概率论里的二维高斯分布1.canny边缘检测原理和简介2.实现步骤3.总结一、 Canny边缘检测算法的发展历史　　Canny算子是28岁的John Canny在1986年提出的，该文章发表在PAMI顶级期刊(1986. A computational approach to edge detection. IEEE Transacti

反卷积（转置卷积）后生成的图像，放大后往往会出现棋盘效应，在深色部分尤为明显，如下图所示：总结了几种常用的解决方案，如下所示：1.修改反卷积形式：（1）使用能被stride整除的kernel size，如kernel size = 4, stride = 2（2）堆叠反卷积减轻重叠（效果一般）（3）网络末尾使用1x1的反卷积，可以稍微抑制棋盘效应（4）调整卷积核权重2.修改上采样形式：使用插值方法代替反卷积进行上采样，如最邻近插值和双线性插值。3.通过损失函数修正输出：在损失函数中加入

局部连接的定义：每个神经元只与输入神经元的一部分区域进行连接。卷积网络中神经元只在空间维度上局部连接，在深度上是全部连接（在更高的层次上可以得到全部信息）。作用：局部连接保证学习后的过滤器对局部的输入特征有最强的响应（当图像特征只与局部特征有关，可以使用局部连接），降低网络参数，增加网络训练速度。当局部特征之间有较强的相关性，适合用全连接，在不同区域有不同的特征分布时，适合用局部连接(比如人脸识别，希望在不同的部分得到不同的特征提取，比如眼睛、嘴巴、鼻子…)PS：网上有类似文章，自己总结了一下.

CNN中比较重要的参数有：学习率、优化器、迭代次数、批次大小、激活函数、隐含神经元层数、权重初始化、Dropout方法、正则化、批归一化、学习率：采用哪种学习率取决于所选择优化算法的类型，如SGD、Adam等优化器：Adam效果很好迭代次数：当训练集精确度和测试集精确度相差不大时，可以认为当前迭代次数合理，否则要增大迭代次数批次大小：一般来说batch_size越小，精确度越高，很多task中的精确率结果的batch_size= 1（CNN网络对批次大小的调整十分敏感）激活函数：一般来说，在CNN

RNN，LSTM,GRU的结构解析RNN结构及代码什么是RNN模型LSTM结构及代码GRU结构及代码合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图...

三个特征值，一个隐藏层（四个神经元），一个输出层（一个神经元），激活函数为sigmoid，损失函数为logloss=-(yloga)-(1-y)log(1-a)手写推导过程为：右上角角标嫌麻烦写到了右下角，请读者不要和神经元位置混淆过程略有简化，读者明白意思即可m个样本的结果如下：...