MOL

原创 最大似然估计和概率

似然与概率在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后

原创 前向传播、反向传播——通俗易懂

　　这是典型的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，我们现在手里有一堆数据{x1,x2,x3,...,xn},输出也是一堆数据{y1,y2,y3,...,yn},现在要他们在隐含层做某种变换，让你把数据灌进去后得到你期望的输出。如果你希望你的输出和原始输入一样，那么就是最常见的自编码模型（Auto-Encoder）。可能有人会问，为什么要输入输出都一样呢？有什么用啊？其实应用挺广的，在图像识别，文本分类等等都会用到，包括一些变种之类的..

原创 KL散度、交叉熵损失函数、nn.CrossEntropyLoss()

https://blog.csdn.net/b1055077005/article/details/100152102https://blog.csdn.net/tsyccnh/article/details/79163834

原创 理解CNN中的特征图 feature map

feature map的含义 在每个卷积层，数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起，其中每一个称为一个feature map。在输入层，如果是灰度图片，那就只有一个feature map；如果是彩色图片，一般就是3个feature map（红绿蓝）。层与层之间会有若干个卷积核（kernel），上一层和每个feature map跟每个卷积核做卷积，都会产生下一层的一个feature map。feature map尺寸计算方法：INPUT为32*32，filter的...

原创 生成对抗网络(GAN)的发展史 + StyleGAN的发展史

目录诞生青春期1.DCGAN2.BigGAN3.StyleGAN4.StackGAN5.CycleGAN6.Pix2pix7.Age-cGAN（Age Conditional Generative Adversarial Networks）Edmond de Belamy这个人并不存在Deep Fakes未来发展现在诞生生成器网络将来自潜在空间的随机噪声矢量（不是来自潜在空间的所有GAN样本）变换为真实数据集的样本。GAN具有大量的实际用例

原创 pytorch保存和加载文件的方法，从断点处继续训练

'''本文件用于举例说明pytorch保存和加载文件的方法'''import torch as torchimport torchvision as tvimport torch.nn as nnimport torch.optim as optimimport torch.nn.functional as Fimport torchvision.transforms as transformsimport os# 参数声明batch_size = 32epochs = 10.

原创 torch.randn【返回从标准正态分布（均值为0，方差为1，即高斯白噪声）中抽取的一组随机数】

torch.randn(*sizes, out=None)→ Tensor返回一个张量，包含了从标准正态分布（均值为0，方差为1，即高斯白噪声）中抽取的一组随机数。张量的形状由参数sizes定义。参数:sizes (int...) - 整数序列，定义了输出张量的形状out (Tensor, optinal) - 结果张量例子：torch.randn(2, 3)0.5419 0.1594 -0.0413-2.7937 0.9534 0.4561[torch.FloatTensor .

原创 张量中 X.view()操作

Pytorch里面的X.view(-1)操作import torcha = torch.randn(3,5,2)print(a)print(a.view(-1))运行结果：tensor([[[-0.6887, 0.2203], [-1.6103, -0.7423], [ 0.3097, -2.9694], [ 1.2073, -0.3370], [-0.5506, 0.4753]], [[-1...

原创 torch.full 【输出大小为size内容为填充张量为fill_value的张量】

>>> torch.full((2, 3), 3.1416)tensor([[ 3.1416, 3.1416, 3.1416], [ 3.1416, 3.1416, 3.1416]])

原创 各种归一化Normalization（BN、LN、IN、GN、WN）

一. 本文的内容包括： 1.Batch Normalization，其论文：https://arxiv.org/pdf/1502.03167.pdf2.Layer Normalizaiton，其论文：https://arxiv.org/pdf/1607.06450v1.pdf3.Instance Normalization，其论文：https://arxiv.org/pdf/1607.08022.pdf4.Group Normalization，其论文：...

原创 为什么要使用 zero_grad()？

有两种方式直接把模型的参数梯度设成0：model.zero_grad()optimizer.zero_grad() # 当optimizer=optim.Optimizer(model.parameters())时，两者等效如果想要把某一Variable的梯度置为0，只需用以下语句：Variable.grad.data.zero_()另外Pytorch 为什么每一轮batch需要设置optimizer.zero_grad：？根据pytorch中的backward()函数的计算，当

原创 for _ in range(10)中 _ 的作用、for循环中range(start, end, step)中的三个参数是什么意思？

python中for _ in range(10) 与 for i in range(10)：for _ in range(n) 一般仅仅用于循环n次，不用设置变量，用 _ 指代临时变量，只在这个语句中使用一次。在循环中两者的作用相似。例如：i = 1for _ in range(10): i=i+1print(i)输出结果为：11原文：https://blog.csdn.net/Hello_World_Blog/article/details/89314816?ut..

原创 DCGAN训练人脸照片，pytorch

4、模型设计1、生成器论文中生成器的结构如图：生成器将潜在向量z（白噪声）转换为特定大小的图片数据，转换由一系列逆卷积操作完成，最后通过tanh函数转换成模型需要的[-1, 1]数值范围的张量。超参数的选择严格按照论文给出，值得注意的是，每一个逆卷积层后都有一个批量标准化层BN，这是DCGAN论文的关键贡献，BN层有助于解决反向转播时梯度消失或爆炸的问题。2、判别器判别器是正常的二元分类网络，输入图像数据，输出为真实样本的概率。不同的是，卷积层后没有添加池化层，而是采用跨步卷积的方式

原创 torchvision.datasets.ImageFolder()使用详解

一、数据集组织方式ImageFolder是一个通用的数据加载器，它要求我们以下面这种格式来组织数据集的训练、验证或者测试图片。root/dog/xxx.pngroot/dog/xxy.pngroot/dog/xxz.pngroot/cat/123.pngroot/cat/nsdf3.pngroot/cat/asd932_.png对于上面的root，假设data文件夹在.py文件的同级目录中，那么root一般都是如下这种形式：./data/train 和 ./data/valid

原创 transforms.Compose()函数

torchvision.transforms是pytorch中的图像预处理包。一般用Compose把多个步骤整合到一起：比如说：transforms.Compose([ transforms.CenterCrop(10), transforms.ToTensor(),])这样就把两个步骤整合到了一起。接下来介绍transforms中的函数：Resize：把给定的图片resize到given sizeNormalize：Normalized an ten.

原创 pycharm导入自己写的模块时，模块下方出现红色波浪线的解决方案

情况说明：自定定义包导入如下：解决方法：将model所在的文件夹设置为source root结果：完成。原文：https://blog.csdn.net/gaocui883/article/details/108422064

原创 conda创建虚拟环境，拥有多个Anconda版本，常用命令

（1）创建一个名为python35的环境，指定Python版本是3.5（不用管是3.5.x，conda会为我们自动寻找3.5.x中的最新版本）conda create –name python35 python=3.5（2）安装好后，使用activate激活某个环境activate python34 # for Windows（3）如果想返回默认的python 2.7环境，运行deactivate python34 # for Windows（4） 删除一个已有的环境conda ...

原创 knime实现python编写脚本

一定要注意file==》preference里面设置好anconda，并且他的版本必须符合要求，且下面python3的框中要选择base！

原创 knime二次开发节点的项目结构

目录1.NumberFormatterNodeFactory.java2.NumberFormatterNodeModel.java3.NumberFormatterNodeDialog.java(optional)4.NumberFormatterNodeView.java(optional)5.NumberFormatterNodeFactory.xml6.default.png7.plugin.xmlandMETA-INF/MANIFEST.MFNumber F...

原创 KNIME二次开发的环境配置安装过程

一.搭建前提JDK8安装 Eclipse 下载地址：http://mirror.bit.edu.cn/eclipse/technology/epp/downloads/release/oxygen/3a/eclipse-rcp-oxygen-3a-win32-x86_64.zip2. 安装Node 开发向导Eclispe页面: Help -> Install New Softwareadd–>name:KNIME 3.6 Update SiteLocation: http://u

原创 特征选择是什么？有什么用？【从给定的特征集合中选择出相关特征子集的过程、降低过拟合风险】

其中冗余是指一个本身很有用的特征与另外一个有用的特征强相关，或它包含的信息能从其它特征推演出来。2.评价函数：衡量特征或特征子集的重要性或者好坏程度，即量化特征变量和目标变量之间的联系以及特征之间的相互联系。：减轻维数灾难，特征的增多会大大增加模型的搜索空间，大多数模型所需要的训练样本随着特征数量的增加而显著增加。对当前学习任务有用的属性称为“相关特征”(relevant feature)、没什么用的属性称为“无关特征”(irrelevant feature)。从给定的特征集合中选择出相关特征子集的过程。

原创 04简单线性回归实战

场景说明根据工作年限与工资的对应关系表，找出二者之间的关系，并预测“未知”工作年限时,工资会有多少？我们创建CSV reader , But something went wrong?we openSalaryData.csv file，we find the row 9 and row 10 has the same YearsExperience datawe open knime,CSV Reader think YearsExperience is unique,...

原创 KNIME简介

KNIME1（/naɪm/，和 knife 一样，k不发音）是德国康斯坦茨大学开发的一款功能强大的免费开源分析工具。KNIME 究竟有什么过人之处呢？个人总结大概有这么几点：商业模式。采用开源的方式来免费分发软件，但给付费客户提供更多具有特定附加值的服务，相比于某些如果只要处理超过一万行的数据就需要付费的软件，成本要少的多； 易于使用。KNIME 拥有上千个模块，上百个可以直接运行的示例，是数据从业者的理想工具箱。图形化编程会让你非常容易上手； 提供了良好的插件机制（PlugIn）。你可以去开

原创 shuffle理解【增加模型的泛化能力】

在模型训练前，我们往往对数据进行shuffle，即随机打乱数据，为什么要这么做呢？不这么做会出现什么问题？何时应该shuffle，何时不该shuffle呢？Q1：为什么要进行shuffle？A1：不论是机器学习还是深度学习，我们总是基于数据独立同分布的假设条件，也就是说，数据的出现应该是随机的，而不是按照某种顺序排列好的。以上就是需要shuffle的根本原因。因此，我们需要在每个epoch的开始把数据shuffle一下。Q2：不shuffle会出现什么问题？A2：泛化能力差。①模型.

原创 Batch Size理解、如何调整batch size和学习率之间的关系？

目录1.直观的理解：2.为什么要提出Batch Size？3.既然 Full Batch Learning 并不适用大数据集，那么走向另一个极端怎么样？3.Batch Size设置合适时的优点：4.在合理范围内，增大 Batch_Size 有何好处？5.盲目增大 Batch_Size 有何坏处？6.Batch Size从小到大的变化对网络影响：1.直观的理解：Batch Size定义：一次训练所选取的样本数。Batch Size的大小影响模型的优化程度和速度。同时其直接

原创 DCGAN

UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS （基于深度卷积生成对抗网络的无监督表示学习）1 INTRODUCTIONLearning reusable feature representations from large unlabeled datasets has been an area of active research.We propose t

原创 GAN学习总结

1.什么是GAN？GAN 模型中的两位博弈方分别由生成式模型（generative model）和判别式模型（discriminative model）充当。生成模型 G 捕捉样本数据的分布，用服从某一分布（均匀分布，高斯分布等）的噪声 z 生成一个类似真实训练数据的样本，追求效果是越像真实样本越好； 判别模型 D 是一个二分类器，估计一个样本来自于训练数据（而非生成数据）的概率，如果样本来自于真实的训练数据，D 输出大概率，否则，D 输出小概率。​ 如下图二次元人物生成过程，上图为Gen

原创 反卷积--上采样的一种方法以及其实现方法ConvTranspose2d

上采样(Upsample)在应用在计算机视觉的深度学习领域，由于输入图像通过卷积神经网络(CNN)提取特征后，输出的尺寸往往会变小，而有时我们需要将图像恢复到原来的尺寸以便进行进一步的计算，这个采用扩大图像尺寸，实现图像由小分辨率到大分辨率的映射的操作，叫做上采样(Upsample)。反卷积(Transposed Convolution)上采样有3种常见的方法：双线性插值(bilinear) 反卷积(Transposed Convolution) 反池化(Unpooling)我们这里只

原创 10-1对抗生成网络与DCGAN

上面的矩阵*矩阵的第一行=B00 a00*w00 + a01*w01 + a02*w02 + a10*w10 + a11*w11 + a12*w12 + a20*w20 + a21*w21 + a22*w22上面的矩阵*矩阵的第二行=B01上面的矩阵*矩阵的第三行=B10上面的矩阵*矩阵的第四行=B11...

原创 量纲与无量纲、标准化、归一化、正则化【能够帮助梯度下降中学习进度收敛的更快、提升模型的收敛速度提升模型的精度、防止模型过拟合，提高模型的泛化能力】

目录1 量纲与无量纲1.1 量纲1.2 无量纲2 标准化3 归一化归一化的好处4 正则化5 总结1 量纲与无量纲1.1 量纲物理量的大小与单位有关。就比如1块钱和1分钱，就是两个不同的量纲，因为度量的单位不同了。1.2 无量纲物理量大小与单位无关。例如角度、增益、两个长度之比等2 标准化梯度下降是受益于特征缩放的算法之一。有一种特征缩放的方法叫标准化，标准化使得数据呈现正态分布，能够帮助梯度下降中学习进度收敛的更快。标准化移动特征的均值（期望），使

原创 10.1自动机器学习Auto_ML

AutoML可以做什么?自动搜索神经网络模型结构 在指定任务上通过Fine-tuning/迁移学习得到较好的结果如何进行网络结构搜索?搜索则必有搜索空间 搜索过程中必有反馈 自动化搜索过程搜索空间----以卷积神经网络为例只保留卷积层，最后一层使用global pooling代替每一个卷积层有五个参数Filter height/width/numberStride height/widthN层卷积神经网络有N*5个参数搜索的反馈表示神经网络的好坏可以用模型在某个数据集上的准确率

原创 图像风格转换-V2

原创 图像风格转换V3算法

原创 为什么使用Flatten layer？

Convolution卷积层之后是无法直接连接Dense全连接层的，需要把Convolution层的数据压平（Flatten），然后就可以直接加Dense层了。也就是把 (height,width,channel)的数据压缩成长度为 height × width × channel 的一维数组，然后再与 FC层连接，这之后就跟普通的神经网络无异了。可以从图中看到，随着网络的深入，我们的图像（严格来说中间的那些不能叫图像了，但是为了方便，还是这样说吧）越来越小，但是channels却越来越大了。在.

原创 图像风格转换

1.将原图I与生成图像I‘同时输入进神经网络M，输出f与f'，如果f与f'越接近，那么证明原图I与生成图像I‘更接近风格特征的层级越高，越精细，内容特征的层级越低，越精细，能否只用一次计算就能得到结果?...

原创 Self-Supervised Learning 入门介绍

什么是 Self-Supervised Learning首先介绍一下到底什么是 SSL，我们知道一般机器学习分为监督学习，非监督学习和强化学习。 而 self-supervised learning 是无监督学习里面的一种，主要是希望能够学习到一种通用的特征表达用于下游任务。 其主要的方式就是通过自己监督自己，比如把一段话里面的几个单词去掉，用他的上下文去预测缺失的单词，或者将图片的一些部分去掉，依赖其周围的信息去预测缺失的 patch。根据我看的文章，现在 self-supervised lear