MOL

原创 如何实现现实人脸照片的编码

因为目前StyleGAN生成的都是虚拟人物，如果我们能找到现实人物在初始域中对应的编码的话，那就意味着可以对现实中的人物进行操作和变化，这会带来一个很有意思的场景：我们每个人的人脸都可以用一个（18,512）维度的向量来表示，并且只要对这个向量稍作一些变动，就能生成出一个略微不同于我们的新的人脸模样（如下图所示）。  我们认为这个想法是有意义的，因为这意味着虚拟人物的生成能与现实人物产生依托或关联。首先有必要从理论上来简单解释一下这个想法——虽然我们无法保证StyleGAN的生成分布域涵盖了地球上所

原创 StyleGAN如何定制人脸生成

目录定制人脸生成方法一 从源头控制生成图片方法一优化 取消Z码生成器，改为微调图片生成器方法二 从生成过程中控制生成图片方法三 借助InfoGAN的思想修改StyleGAN的架构定制人脸生成  这一部分会介绍基于StyleGAN，进一步地做定制人脸生成使用的方法。目前采用过的方法有三种:第一种是从源头上通过控制生成码Z的分布范围，从而控制生成的人脸类型，这种方法能控制性别、人种、年龄等粗略类型；第二种方法是在图片生成器的内部，通过特定维度上特征的替换，将引入的目标（模板...

原创 【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?+深度可分离卷积详解

注意：depthwise_conv2d 与普通的卷积有些不同。普通的卷积对卷积核每一个out_channel 的两个通道分别和输入的两个通道做卷积相加，得到 feature map 的一个channel，# 而 depthwise_conv2d 卷积对每一个对应的 in_channel，分别卷积生成两个out_channel，所以获得的 feature map 的通道数量可以用 in_channel * channel_multiplier 来表达，这个 channel_multiplier ， 就可以.

原创 1*1卷积层

目录1.为什么可以用1*1卷积层来代替全连接层？2.1*1 卷积的作用一、 实现特征通道的升维和降维二、 增加非线性三、 减少卷积核参数（简化模型）3.用1*1卷积层代替全连接层的好处：1.为什么可以用1*1卷积层来代替全连接层？假设当前输入张量维度为6×6×32，卷积核维度为1×1×32，取输入张量的某一个位置（如图黄色区域）与卷积核进行运算。实际上可以看到，如果把1×1×32卷积核看成是32个权重W，输入张量运算的1×1×32部分（左图黄色部分）为输入x，那么每一个卷积操

原创 Softmax()、log_softmax() 实现归一化

归一化是把数据压缩到[0,1]，把量纲转为无量纲的过程，方便计算、比较等。1.归一化的好处提升模型的收敛速度 提升模型的精度具体关于归一化的内容看：https://blog.csdn.net/weixin_43135178/article/details/1146857982.解释Softmax归一化在多分类问题中，通常会使用softmax函数作为网络输出层的激活函数，softmax函数可以对输出值进行归一化操作，把所有输出值都转化为概率（0~1之间），所有概率值加起来等于1，softm

原创 SAGAN原理及代码（B站详解，很值得一看）

代码地址：https://github.com/heykeetae/Self-Attention-GAN视频讲解：https://www.bilibili.com/video/BV1yy4y1v7441.背景+整体介绍SAGAN:将self-attention机制引入到GANs的图像生成当中，来建模像素间的远距离关系，用于图像生成任务CGAN的缺点:1.依赖卷积建模图像不同区域的依赖关系，由于卷积核比较小一般都是1*1，3*3,5*5...==>卷积感受野太小，需要进行多层卷积才能获

原创 SAGAN（G-lab介绍）

1.SAGAN解决的问题用深度卷积网络能够提升 GANs 生成高分辨率图片的细节，但是由于卷积网络的局部感受野的限制，如果要生成大范围相关（Long-range dependency）的区域，卷积网络就会出现问题。譬如说在生成人脸图片时，是非常注重细节的，以左右眼举例，只要左右眼有一点点不对称，就会显得生成的人脸特别不真实。但是因为一般的卷积核很难覆盖很大的区域，在对左眼区域做卷积时它看不到右眼对左眼的影响，这样产生的图片就会缺乏人脸结构特征的完整性。因此，现在我们需要解决的问题是，如何找到一种能够利用

原创 SAGAN生成更为精细的人脸图像(tensorflow实现)

一、背景SAGAN全称为Self-Attention Generative Adversarial Networks，是由Han Zhang等人[1]于18年5月提出的一种模型。文章中作者解释到，传统的GAN模型都是在低分辨率特征图的空间局部点上来生成高分辨率的细节，而SAGAN是可以从所有的特征处生成细节，并且SAGAN的判别器可以判别两幅具有明显差异的图像是否具有一致的高度精细特征。SAGAN目前是取得了非常好的效果。本文以CelebA数据集为例，用SAGAN生成更为精细的人脸图像，主要参考代码

原创 深度残差收缩网络：（五）实验验证

实验部分将所提出的两种深度残差收缩网络，即“通道之间共享阈值的深度残差收缩网络(Deep Residual Shrinkage Networks with Channel-shared Thresholds，简称DRSN-CS)”，和“逐通道不同阈值的深度残差收缩网络(Deep Residual Shrinkage Networks with Channel-wise Thresholds，简称DRSN-CW)”，与传统的卷积神经网络(Convolutional Neural Networks, ConvN

原创 深度残差收缩网络：（四）注意力机制下的阈值设置

对于基于深度学习的分类算法，其关键不仅在于提取与标签相关的目标信息，剔除无关的信息也是非常重要的，所以要在深度神经网络中引入软阈值化。阈值的自动设置，是深度残差收缩网络的核心贡献。需要注意的是，软阈值化中的阈值，需要满足一定的条件。这篇文章中的阈值设置，事实上，是在注意力机制下进行的。下面分别介绍阈值需要满足的条件、注意力机制以及具体的阈值设置方法。（1）阈值需要满足的条件　　在软阈值化中，阈值的取值有一定的要求：首先，阈值必须是正数；其次，阈值不能太大，否则输出会全部为零。　　更重要的是，每个

原创 深度残差收缩网络：（三）网络结构

（1）回顾一下深度残差网络的结构　　在下图中，(a)-(c)分别是三种残差模块，(d)是深度残差网络的整体示意图。BN指的是批标准化(Batch Normalization)，ReLU指的是整流线性单元激活函数(Rectifier Linear Unit)，Conv指的是卷积层(Convolutional layer)，Identity shortcut指的是跨层的恒等映射，RBU指的是残差模块(Residual Building Unit)，GAP是全局均值池化(Global Average Pool

原创 深度残差收缩网络：（二）整体思路

其实，这篇文章的摘要很好地总结了整体的思路。一共四句话，非常简明扼要。　　我们首先来翻译一下论文的摘要：第一句：This paper develops new deep learning methods, namely, deep residual shrinkage networks, to improve the feature learning ability from highly noised vibration signals and achieve a high fault diagn

原创 深度残差收缩网络：（一）背景知识

深度残差收缩网络（Deep Residual Shrinkage Network）是深度残差学习（Deep Residual Network, ResNet）的一种改进，发表在IEEE Transactions on Industrial Informatics上，面向的是数据包含噪声的情况。简单地讲，深度残差收缩网络就是，将软阈值化作为可训练的模块，嵌入到ResNet之中。（1）噪声的含义如上所述，深度残差收缩网络面向的是数据包含噪声的情况。事实上，这里的“噪声”，可以有更宽泛的解释。“噪声”

原创 深度残差收缩网络：（六）代码实现

代码链接：https://github.com/zhao62/Deep-Residual-Shrinkage-NetworksDeep-Residual-Shrinkage-NetworksThe deep residual shrinkage network is a variant（变种） of deep residual networks (ResNets), and aims to improve the feature learning ability from highly noise

原创 准确率(Accuracy) | 查准率(Precision) | 查全率(Recall)

目录样本识别结果指标计算Accuracy（准确率）Precision（精确率、查准率）Recall （召回率、查全率）为什么要不同的指标？综合评价 (F-Score)在机器学习中，对于一个模型的性能评估是必不可少的。准确率(Accuracy)、查准率(Precision)、查全率(Recall)是常见的基本指标。为了方便说明，假设有以下问题场景：一个班有50人，在某场考试中有40人及格，10人不及格。现在需要根据一些特征预测出所有及格的学生。某一模型执行下

原创 线性回归-＞最小均方误差-＞梯度下降

目录1.线性回归2.最小均方误差（Least Mean squares）3.梯度下降4.批梯度下降算法（BGD）5.随机梯度下降算法（SGD）1.线性回归首先要明白什么是回归。回归的目的是通过几个已知数据来预测另一个数值型数据的目标值。假设特征和结果满足线性关系，即满足一个计算公式h(x)，这个公式的自变量就是已知的数据x，函数值h(x)就是要预测的目标值。这一计算公式称为回归方程，得到这个方程的过程就称为回归。假设房子的房屋面积和卧室数量为自变量x，用x1表示房屋面积，x2

原创 TensorFlow实现卷积、池化操作

调用tf.nn.conv2d()实现卷积首先是调用卷积函数实现卷积操作：这里说明一下conv2d的定义及参数含义： 参考【定义：】tf.nn.conv2d (input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None)【参数：】input : 输入的要做卷积的图片，要求为一个张量，shape为 [ batch, in_height, in_weight, in_channel ]，

原创 注意力机制+软阈值化 = 深度残差收缩网络（Deep Residual Shrinkage Network）

顾名思义，深度残差收缩网络是由“残差网络”和“收缩”两个部分所组成的，是“残差网络”的一种改进算法。其中，残差网络在2016年获得了ImageNet图像识别竞赛的冠军，目前已成为深度学习领域的基础网络；“收缩”就是“软阈值化”，是许多信号降噪方法的核心步骤。深度残差收缩网络也是一种“注意力机制”下的深度学习算法。其软阈值化所需要的阈值，本质上是在注意力机制下设置的。在本文中，我们首先对残差网络、软阈值化和注意力机制的相关基础进行了简要的回顾，然后对深度残差收缩网络的动机、算法和应用展开解读。

原创 深度学习前人精度很高了，该怎么创新？（论文发表，论文创新）

深度学习领域新技术层出不穷，顶尖的研究人员也愈来越多，当研究领域的前人精度已经很高了，我们该怎么创新，从哪些角度去创新呢？回答一：常见的思路我临时给它们取了几个名字：无事生非，后浪推前浪，推陈出新，出奇制胜。1.无事生非：1. 在原始的数据集上加一些噪声，例如随机遮挡，或者调整饱和度亮度什么的，主要是根据具体的任务来增加噪声或扰动，不可乱来。如果它的精度下降的厉害，那你的思路就来了，如何在有遮挡或有噪声或其他什么情况下，保证模型的精度。（无事生非）2. 用它的模型去尝试一个新场景的数据集

原创 什么是端到端模型（end-to-end learning）？

非端到端传统机器学习的流程往往由多个独立的模块组成，比如在一个典型的自然语言处理（Natural Language Processing）问题中，包括分词、词性标注、句法分析、语义分析等多个独立步骤，每个步骤是一个独立的任务，其结果的好坏会影响到下一步骤，从而影响整个训练的结果，这是非端到端的。端到端从输入端到输出端会得到一个预测结果，将预测结果和真实结果进行比较得到误差，将误差反向传播到网络的各个层之中，调整网络的权重和参数直到模型收敛或者达到预期的效果为止，中间所有的操作都包含在神经网络内部

原创 pix2pix, CycleGAN和pix2pixHD（没有公式，容易理解）

pix2pix：有条件地使用用户输入，它使用成对的数据（paired data）进行训练。 CycleGAN：使用不成对的数据（unpaired data）的就能训练。 pix2pixHD：生成高分辨率、高质量的图像。1.pix2pix2.cyclegGAN（使用不成对的数据）同时要保证原图与生成图片可以相互转换不丢失信息3.pix2pixHD先输出低分辨率的图片。 将之前输出的低分辨率图片作为另一个网络的输入，然后生成分辨率更高的图片。具体信息看原文：htt..

原创 使用生成对抗网络进行端到端中国山水画创作（SAPGAN）

摘要：目前基于gan的艺术生成方法由于依赖于条件输入而产生非原创的作品。在此，我们提出了“素描-绘画GAN”(SAPGAN)，这是中国山水画的第一个不需要条件输入就能从头到尾生成的模型。SAPGAN由两个gan组成:SketchGAN用于生成边缘地图，PaintGAN用于随后的边缘到绘画的翻译。我们的模型是在一个新的中国传统山水画数据集上训练的，此前从未用于生成研究。一项242人的视觉图灵测试研究显示，有55%的人会把萨普根的画误认为是人类艺术品，显著优于基线的甘斯画。我们的工作为真正的机器原创艺术一代

原创 Image2StyleGAN：如何将图像嵌入到 StyleGAN 潜在空间中？

摘要：我们提出了一种有效的算法，将给定的图像嵌入到 StyleGAN 的潜在空间中。这种嵌入使语义图像编辑操作可应用 于 现 有 照 片 。 以 在 FFHQ 数 据 集 上 受 过 训 练 的 StyleGAN 为例，我们显示了图像变换，样式转移和表达转移的结果。研究嵌入算法的结果可为 StyleGAN 潜在空间的结构提供有价值的见解。我们提出了一组实验来测试可以嵌入哪些类别的图像， 如何嵌入图像， 适合嵌入的潜在空间 以及嵌入是否在语义上有意义。1. 介绍StyleGAN 利.

原创 tf.name_scope()详解【命名空间其实就是给几个变量包一层名字，方便变量管理】

命名空间其实就是给几个变量包一层名字，方便变量管理。函数是：tf.name_scope另外，就像操作系统文件夹命名一样，不同的顶层文件夹下，可以有同名文件夹。这里，不同的命名空间下，可以有名字相同的变量。tf.name_scope 主要结合 tf.Variable() 来使用，方便参数命名管理。Signature: tf.name_scope(*args, **kwds)Docstring:Returns a context manager for use when defining a P

原创 python中with的用法

with是一种上下文管理协议，目的在于从流程图中把 try,except 和finally 关键字和资源分配释放相关代码统统去掉，简化try….except….finlally的处理流程。with 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭、线程中锁的自动获取和释放等。with语句的基本语法格式:with expression [as target]:with_body参数说明：expression：是一

原创 奇异值、奇异值分解、奇异值表示什么物理意义？

矩阵的奇异值是一个数学意义上的概念，一般是由奇异值分解(Singular Value Decomposition,简称SVD分解）得到。如果要问奇异值表示什么物理意义，那么就必须考虑在不同的实际工程应用中奇异值所对应的含义。下面先尽量避开严格的数学符号推导，直观的从一张图片出发，让我们来看看奇异值代表什么意义。这是一张照片，像素为高度450*宽度333。我们都知道，图片实际上对应着一个矩阵，矩阵的大小就是像素大小，比如这张图对应的矩阵阶数就是450*333，矩阵上每个元素的数值对应着像素值.我们记这个.

原创 余弦相似度、模、内积

余弦距离，也称为余弦相似度，是用向量空间中两个向量之间的夹角余弦值作为衡量两个个体之间的差异大小的度量。余弦值越接近于1， 夹角之间的度数越接近0度，也就是两个向量越相似，这就叫做“余弦相似度”。举例说明：通过上图，我们能看出，将两张人脸图片通过卷积神经网路，可以分别得到向量a和向量b在空间中，向量a和向量b有以下几种情况：第一种情况：向量a和向量b的夹角很小，说明向量a和向量b有很高的相似性。第二种情况：向量a和向量b是相等的，可以表示向量a所表示的人脸图片和向量b所表示的.

原创 先验分布、后验分布、似然函数（似然估计）

先验——根据若干年的统计（经验）或者气候（常识），某地方下雨的概率；似然/条件概率——有下雨（因）前出现了乌云（果）的概率，即给定原因估计结果的概率；后验——根据天上有乌云（果），下雨（因）的概率，即给定结果估计原因的概率；后验 ~ 先验*似然 ：通过现在有乌云（果）推断下雨概率（因）（后验）~ 下雨的概率（先验）* 下雨（因）之前会有乌云（果）（似然）...

原创 压缩版styleGAN（Mobile StyleGAN）参数更少、计算复杂度更低

一个名为 MobileStyleGAN 的新架构大大减少了基于样式 GAN 的参数量，降低了计算复杂度。近年来在生成图像建模中，生成对抗网络（GAN）的应用越来越多。基于样式（style-based）的 GAN 可以生成不同层次的细节，大到头部形状、小到眼睛颜色，它在高保真图像合成方面实现了 SOTA（state-of-the-art，若某篇论文能够称为SOTA，就表明其提出的算法（模型）的性能在当前是最优的），但其生成过程的计算复杂度却非常高，难以应用于智能手机等移动设备。近日，一项专注于基于样式

原创 IDEA修改主题

原创 Remote URL test failed: protocol ‘Remote URL test failed: Authentication failed for，不能clone，push和pul

如果你设置好了SSH公钥然后还是不行，那么你试一下其他的开源的项目地址，然后如果你可以git clone 下来，那么说明你想要clone的这个项目的地址是错误的，或者是你的权限不够将此处的地址换成https的地址而不要用SSH的地址，配置好以后有可能还是不行，重启一下电脑就可以了...

原创 Linux下监视NVIDIA的GPU使用情况

在使用TensorFlow跑深度学习的时候，经常出现显存不足的情况，所以我们希望能够随时查看GPU时使用率。如果你是Nvidia的GPU，那么在命令行下，只需要一行命令就可以实现。1. 显示当前GPU使用情况Nvidia自带了一个nvidia-smi的命令行工具，会显示显存使用情况：nvidia-smi输出：2. 周期性输出GPU使用情况但是有时我们希望不仅知道那一固定时刻的GPU使用情况，我们希望一直掌握其动向，此时我们就希望周期性地输出，比如每 10s 就更新显示。 这时候就需要

原创 linux 下后台运行python脚本(nohup)

1、运行python脚本命令$ nohup python -uProductCatDataImport.py> out.log 2>&1 &2、查看输出日志：tail -f out.log3、查看进程：ps -ef|grep pix2pix.py4、结束进程kill -9 4424

原创 相对路径 ‘’，‘/’，‘./‘，‘../‘

'' ： 当前同级目录'/'：根目录'./' ：当前同级目录'../' ：上级目录

原创 GAN在短视频中的AI特效实践（PPT演示）

导读近年来，以GAN为代表的生成式技术在学术界取得蓬勃发展。在工业界，基于生成式技术的真实感效果也引领了一批爆款特效和应用。快手Y-tech在国内率先将GAN落地于短视频特效制作，并积累了丰富的实践经验，为快手各类人脸爆款特效提供有力技术支持。本文主要介绍快手在高精度人脸属性编辑方面的实践，包括性别、年龄、头发、表情等的生成。01背景介绍人脸特效是辅助短视频内容生产的重要组成部分，生动好玩的特效有利于促进短视频内容的消费。传统的人脸特效主要依赖于人脸二维和三维的语义理解，并结合图形图..

原创 nn.dropout()的用法，随机失活

f.nn.dropout()是tensorflow里面为了防止或减轻过拟合而使用的函数，它一般用在全连接层Dropout就是在不同的训练过程中随机扔掉一部分神经元。也就是让某个神经元的激活值以一定的概率p，让其停止工作，这次训练过程中不更新权值，也不参加神经网络的计算。但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了tf.nn.dropout函数说明————————————————版权声明：本文为CSDN博主「凤玲fly」的原创文章，遵循CC 4.0 BY-S

原创 激活函数nn.ReLU(inplace=True)中inplace的作用

nn.ReLU(inplace=True)参数inplace=True:inplace为True，将计算得到的值直接覆盖之前的值inplace：can optionally do the operation in-place. Default: False注： 产生的计算结果不会有影响。利用in-place计算可以节省内（显）存，同时还可以省去反复申请和释放内存的时间。但是会对原变量覆盖，只要不带来错误就用。例如：x = x+1即对原值x进行+1操作后得到的值，直接赋值给x，而不是如下找

原创 矩阵的维数和通道数之间的关系

通道是1指的是：每一个坐标都只有一个值。 通道是2指的是：每一个坐标上都有两个值。且这两个值是由矩阵的相邻两个数据组成的。 通道是3指的是：每一个座标上都由矩阵中的三个相邻的数据组成的。例如彩色图像的RGB格式，每一个像素点上都有三个数据，分别代表Red Green Bluen红绿蓝三种颜色的深浅度 。维度：是看访问数据时的坐标个数。如果是二维的，访问时坐标是x，y，三维的。坐标是xyz。就是矩阵的维度。通道：指的是每一个坐标元素所包含的数据的个数，包含一个数据就是单通道，两个数据...

原创 Conv2d

一、用法Conv2d(in_channels, out_channels, kernel_size, stride=1,padding=0, dilation=1, groups=1,bias=True, padding_mode=‘zeros’)二、参数in_channels：输入的通道数目 【必选】 out_channels： 输出的通道数目 【必选】 kernel_size：卷积核的大小，类型为int 或者元组，当卷积是方形的时候，只需要一个整数边长即可，卷积不是方形，要输入一个元

原创 pix2pix笔记（B站，更加清晰）