abner_wzy-CSDN博客

原创 CNN经典网络之残差网络(ResNet)剖析

残差网络（Residual Network, ResNet）是在2015年继AlexNet、VGG、GoogleNet 三个经典的CNN网络之后提出的，并在ImageNet比赛classification任务上拔得头筹，ResNet因其简单又实用的优点，现已在检测，分割，识别等领域被广泛的应用。在VGG19中卷积层+全连接层达到19层，在GoogLeNet中网络史无前例的达到了22层。那么，网络的精度会随着网络的层数增多而增多吗？在深度学习中，网络层数增多一般会伴着下面几个问题：计算量大，时间长（通过

2020-10-19 11:43:22 6394

原创透彻理解正则化（Regularization）

Regularization是在损失函数中加惩罚项，增加建模的模糊性，从而把捕捉到的趋势从局部细微趋势，调整到整体大概趋势。虽然一定程度上的放宽了建模要求，但是能有效防止over-fitting的问题，增加模型准确性。因此，regularization是针对模型而言。...

2020-10-19 11:42:43 285

原创生成模型经典网络之DCGAN剖析

在原始的 GAN 模型中，生成器和判别器都是浅层模型。为了生成分辨率更高的图像，我们需要更深的模型。 Indico公司的 Alec Radford 等人于 2016 年提出了 DCGAN ( Deep Convolutional GAN ，深度卷积对抗生成网络）模型。该模型中判别器和生成器都采用全卷积神经网络。除了判别器的最后一层和生成器的第一层之外，其他层都采用卷积层。该模型提升了 GAN 生成大尺度图像的能力，它在 LSUN (Large-sale Scene Understandin

2020-10-19 11:40:04 756

原创损失函数可视化

对于mmm个样本，使用MSE最为损失函数。如果样本只有一个属性xix_ixi,那么损失函数为：L=1m∑i(w∗xi+yi)2L=\frac{1}{m}\sum_i(w*x_i+y_i)^2L=m1i∑(w∗xi+yi)2我们来画出该损失函数的图像：import numpy as npimport matplotlib.pyplot as pltdef image(b=0): dense = 400 w = np.linspace(-2,4,dense) x_

2020-10-19 11:39:21 3490

原创 Feature Scaling

特征缩放（Feature Scaling）为什么要进行特征缩放？如果我们不进行处理，就去训练模型会怎么？训练模型实际是训练参数，如果我们采用梯度下降法，那么参数的更新公式是：∂L∂wi=2n∑j=0n((Hj−yj)∗xji)\frac{ \partial L}{\partial w_i}=\frac{2}{n}\sum_{j=0}^n\Bigl((H_j-y_j)*x_{ji}\Bigr)∂wi∂L=n2∑j=0n((Hj−yj)∗xji)wi+1=wi−η∗∂L∂wiw_{i+1}

2020-10-19 11:37:59 292

原创参数是如何更新的

参数是如何更新的二层模型你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式进行展示；增加了图片拖拽

2020-10-19 11:36:42 633

原创各种RNN单元

RNN(Recurrent Neural Network, 循环神经网络)ReNN(Recursive Neural Network, 递归神经网络)如：(1) 我饿了，我要去食堂___。(2) 我饭卡丢了，我要去食堂___。很显然，第一句话是想表明去食堂就餐，而第二句则很有可能因为刚吃过饭，发现饭卡不见了，去食堂寻找饭卡。而RNN之前，我们常用的语言模型是N-Gram，无论何种语境，可能去食堂大概率匹配的是“吃饭”而不在乎之前的信息。RNN就解决了N-Gram的缺陷，它在理论上可以往前(后)看任意多

2020-10-19 11:35:34 1230

原创 AwesomeAI之图像超分（1）——RDN

原论文：Residual Dense Network for Image Super-Resolution数据集 DIV2KDIV2K中共有1000张2K分辨率图像。其中，训练用图像800张，验证用图像100张，测试用图像100张。如何从HR(High Resolution，高分辨率)得到LR(Low Resolution，低分辨率)图像？训练输入LR的图片使用该2k图片通过下面3种处理得到：BI方式：主要通过Bicubic下采样得到，缩小比例为x2，x3，x4；BD方式：先对原始图片做（7*7

2020-08-14 15:23:16 784

原创生成模型经典网络之CGAN剖析

先要深刻理解GAN！CGAN(Conditional Generative Adversarial Nets, 条件生成-对抗网络)。借用原论文中的图如下：想一想，再GAN中我们哪里使用了“类别”？在GAN中，我们求损失函数的时候用到了“类别”，因为二分类器输出的是正样本的几率值（或概率值），所以这里“类别”就用来作为判断用，如果是类别1，计算log(D(xj))log(D(x_j))log(D(xj))；如果是类别0，计算log(1−D(xj))log(1-D(x_j))log(1−D(xj)

2020-08-10 16:16:29 1911

原创生成模型经典网络之GAN剖析

GAN启发自博弈论中的二人零和博弈。GAN是由两部分主成：生成模型GGG（generative model）和判别模型DDD（discriminative model）。生成模型捕捉样本数据的分布，判别模型是一个二分类器，判别输入是真实数据还是生成的样本。xxx是真实数据，真实数据服从Pdata(x)P_{data}(x)Pdata(x)分布。zzz是噪声数据，噪声数据服从Pz(z)P_z(z)Pz(z)分布，比如高斯分布或者均匀分布。然后从噪声zzz进行抽样，通过GGG之后生成假数据xˉ=G(z)\

2020-08-10 10:19:54 318

weixin_38052918的博客