2019年05月_CopperDong

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创循环神经网络实例4：处理Seq2Seq任务

Seq2Seq任务，即从一个序列映射到另一个序列的任务。在生活中会有很多符合这样特性的例子：前面的语言模型、语音识别例子，都可以理解成一个Seq2Seq的例子，类似的应用还有机器翻译、词性标注、智能对话等。在TensorFlow中有两套Seq2Seq的接口。一套是1.0版本之前的旧接口，tf.contrib.legacy_seq2seq；另一套为新接口，tf.contrib.seq...

2019-05-30 15:19:24 918

原创循环神经网络实例3：语言模型的系统学习

语言模型包括文法语言模型和统计语言模型。一般我们指的是统计语言模型。统计语言模型是指：把语言（词的序列）看作一个随机事件，并赋予相应的概率来描述其属于某种语言集合的可能性。其作用是为一个长度为m的字符串确定一个概率分布P（w1; w2; ...;wm），表示其存在的可能性。其中，w1~wm依次表示这段文本中的各个词。用一句话简单地说就是计算一个句子的概率大小。...

2019-05-30 13:54:42 665

转载微信小程序引用外部字体

1、找到字体包ttf、eot、svg、woff随便一种格式文件；文件转换网站：字体文件转换网站2、上传2中的字体文件（最好是ttf文件）到https://transfonter.org/，选择base64 编吗，convert后下载.3、跟components同级，新建一个style文件夹，里面放第二步转换完下载后的得到的那些后缀文件(eot,svg,ttf,woff,woff2)...

2019-05-24 16:48:15 1328

原创循环神经网络实例2：RNN改进

对于相对较复杂的问题，这种RNN便会显出其缺陷，原因还是出在激活函数。通常来讲，激活函数在神经网络里最多只能6层左右，因为它的反向误差传递会随着层数的增加，传递的误差值越来越小，而在RNN中，误差传递不仅存在于层与层之间，也在存于每一层的样本序列间，所以RNN无法去学习太长的序列特征。于是，神经网络学科中又演化了许多RNN网络的变体版本，使得模型能够学习更长的序列特...

2019-05-24 11:04:14 1180

原创循环神经网络实例1：拟合简单序列

循环神经网络（RNN）具有记忆功能，适合解决连续序列的问题，善于从具有一定顺序意义的样本与样本间学习规律。实例：使用RNN网络拟合回声信号序列，使用一串随机的模拟数据作为原始信号，让RNN网络来拟合其对应的回声信号。样本数据为一串随机的由0、1组成的数字，将其当成发射出去的一串信号。当碰到阻挡被反弹回来时，会收到原始信号的回音。如果步长为3，那么输入和输出的序列如图...

2019-05-24 09:47:05 1117

原创卷积神经网络实例3：深度学习的模型训练技巧

把卷积核裁开，从而减少计算量，是等价计算。比如3x3可以裁成3x1和1x3多通道卷积批量归一化（BN算法），一般用在全连接或卷积神经网络中。梯度爆炸问题：因为网络的内部协变量转移，即正向传播时的不同层的参数会将反向训练计算时所参照的数据样本分布改变。这就是引入批量正则化的目的。它的作用是要最大限度地保证每次的正向传播输出在同一分布上，这样反向计算时参照的数据样本分布就...

2019-05-23 16:00:31 511

原创卷积神经网络实例2：反卷积

反卷积是指，通过测量输出和已知输入重构未知输入的过程。在神经网络中，反卷积过程并不具备学习的能力，仅仅是用于可视化一个已经训练好的卷积网络模型，没有学习训练的过程。对于一个复杂的深度卷积网络，通过每层若干个卷积核的变换，我们无法知道每个卷积核关注的是什么，变换后的特征是什么样子。通过反卷积的还原，可以对这些问题有个清晰的可视化，以各层得到的特征图作为输入，进行反卷积，得到反卷积结果，...

2019-05-23 15:52:16 1754 1

原创卷积神经网络实例1：CIFAR10

几个概念1、多通道的卷积通道（Channel），是指图片中每个像素由几个数来表示，这几个数一般指的就是色彩。比如一个灰度图的通道就是1，一个彩色图的通道就是3（红、黄、蓝）。在卷积神经网络里，通道又分输入通道和输出通道。输入通道：就是前面刚介绍的图片的通道。如是彩色图片，起始的输入通道就是3.如是中间层的卷积，输入通道就是上一层的输出通道个数，计算方法是，每个输入通道的图片都...

2019-05-23 15:05:20 1083

原创对抗神经网络（GAN）

对抗神经网络其实是两个网络的组合，可以理解为一个网络生成模拟数据，另一个网络判断生成的数据是真实的还是模拟的。生成模拟数据的网络要不断优化自己让判别的网络判断不出来，判别的网络也要优化自己让自己判断得更准确。二者关系形成对抗，因此叫对抗神经网络。实验证明，利用这种网络间的对抗关系所形成的网络，在无监督及半监督领域取得了很好的效果，可以算是用网络来监督网络的一个自学习过程。1、理论...

2019-05-23 09:48:58 11999

原创几个深度网络的介绍

1、GoogleNet模型去除全连接层，使得模型训练更快并且减轻了过拟合。 Inception的核心思想是通过增加网络深度和宽度的同时减少参数的方法来解决问题。Inception v1由22层，比AlexNet的8层或VGGNet的19层更深。但其计算量只有15亿次浮点运算，同时只有500万的参数量，仅为AlexNet的1/12，却有着更高的准确率。Incepti...

2019-05-22 16:45:59 4017

原创自编码实例6：变分自编码

自编码可以降维重构样本，而变分自编码学习的不再是样本的个体，而是学习样本的规律。这样训练出来的自编码不单具有重构样本的功能，还具有仿照样本的功能。变分自编码，其实就是在编码过程中改变了样本的分布（变分可以理解为改变分布）。假设我们知道样本的分布函数，就可以从这个函数中随便取一个样本，然后进行网络解码层前向传导，这样就可以生成一个新的样本。为了得到这...

2019-05-22 15:16:03 624

原创自编码实例5：栈式自编码

栈式自编码神经网络（Stacked Autoencoder, SA），是对自编码网络的一种使用方法，是一个由多层训练好的自编码器组成的神经网络。由于网络中的每一层都是单独训练而来，相当于都初始化了一个合理的数值。所以，这样的网络会更容易训练，并且有更快的收敛性及更高的准确度。栈式自编码常常被用于预训练（初始化）深度神经网络之前的权重预训练步骤。例如在一个分类问题上，...

2019-05-22 14:34:49 2126 3

原创自编码实例4：去噪自编码

要想取得好的特征只靠重构输入数据是不够的，在实际应用中，还需要让这些特征具有抗干扰的能力，即当输入数据发生一定程度的扰动时，生成的特征仍然保持不变。这时需要添加噪声来为模型增加更大的困难。在这种情况下训练出来的模型才会有更好的鲁棒性。去噪自动编码器（Denoising Autoencoder, DA），是在自动编码的基础上，训练数据加入噪声，输出的标签仍是原始的样本，这样...

2019-05-22 11:48:35 2421 1

原创自编码实例3：卷积网络的自编码

自编码结构不仅可用在全连接网络上，还可以用在卷积网络上。以下实例输入经过两层卷积、池化、反池化、两层卷积操作。import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt# 导入 MINST 数据集from tensorflow.examples.tutorials.mnist impo...

2019-05-22 11:12:49 2170 1

原创自编码实例2：线性编码器

由多个带有S型激活函数的隐含层及一个线性输出层构成的自编码器，称为线性编码器。实例：提取图片的二维特征，并利用二维特征还原图片。将MNIST图片压缩成二维数据，这样也可以在直角坐标系上将其显示出来，让读者更形象地了解自编码网络在特征提取方面的功能。import tensorflow as tfimport numpy as npimport matplotlib.py...

2019-05-22 10:28:56 1172

原创自编码实例1: MNIST

先将输入数据从784维降维到256，再降到128。解码阶段经过128再经256，最终还原到原来的图像，其过程如下图所示。import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt# 导入 MINST 数据集from tensorflow.examples.tutorials.mni...

2019-05-22 09:49:55 418 1

原创文本分类算法综述与代码实现

大部分文本分类系统包含特征抽取、降维、分类器和评估四部分，本文围绕这个分类系统进行探讨。输入：特征抽取：使用TF-IDF，Word2Vec向量化分类器：分类算法评估：预测测试集和评估模型，F Score、ROC以及AUC等目前采用的几种特征抽取方法没有考虑句法结构信息，例如下图中的指示代词CNNHAN...

2019-05-16 11:13:33 1223

转载看完这篇，别说你还不懂Hinton大神的胶囊网络，capsule network

https://www.e-learn.cn/content/qita/1280585引言斯蒂文认为机器学习有时候像婴儿学习，特别是在物体识别上。比如婴儿首先学会识别边界和颜色，然后将这些信息用于识别形状和图形等更复杂的实体。比如在人脸识别上，他们学会从眼睛和嘴巴开始识别最终到整个面孔。当他们看一个人的形象时，他们大脑认出了两只眼睛，一只鼻子和一只嘴巴，当认出所有这些存在于脸上的实体，并且...

2019-05-15 19:39:28 2490

原创神经网络机器翻译实现---Seq2Seq+注意力机制

1、NMT（Neural Machine Translation）简介NMT框架可以简单地表示为如下图：输入句子经过编码得到上下文向量context，context再经过译码得到输出句子可具体表示为论文Sequence to Sequence Learning with Neural Networks称这个框架为序列到序列（sequence-to-sequence）th...

2019-05-15 17:49:43 924

转载卷积神经网络实例Python（VGG）

书籍下载https://download.csdn.net/download/qfire/11175748 采用MNIST数据集进行卷积神经网络实战学习，面向对象设计方法，把每个独立模块封装成对象。训练一个卷积网络，主要包括7部分：激活函数、正则化、优化方法、卷积网络基本模块、训练方法、网络结构和数据集。每个部分都可以抽象成一个类，其中激活函数、正则化、优化方法、卷积网络基本模块和训练方...

2019-05-13 15:08:14 3659 2

转载神经网络实例Python

本文采用一个模拟数据集进行神经网络的训练，相关知识点包括数据预处理、BN层、神经网络模型、梯度反向传播、梯度检查、监测训练过程、超参数随机搜索等，使读者掌握一个完整的机器学习流程。1、生成数据生成一个线性不可分的数据集，它是一个随时间增长的振荡数据。import numpy as npimport matplotlib.pyplot as plt# 显示数...

2019-05-13 14:32:40 5234 1

转载小程序电商简介

https://read.douban.com/reader/ebook/107323493/ 微信小程序爆发出的能量是惊人的，它利用自身能连接线上线下服务的独特优势，将线上线下的用户与众多商家连接起来。特别是在电商领域，95%的电商平台都已经接入小程序，希望能借助小程序瓜分微信超10亿的用户流量。事实也证明，商家通过小程序获得了海量新用户，取得了亮眼的成绩，比如，拼...

2019-05-09 19:03:11 4915

转载集成学习实战

如果你随机想几千个人询问一个复杂问题，然后汇总他们的回答。在许多情况下，你会发现，这个汇总的回答比专家的回答还要好。这被称为群体智慧。同样，如果你聚合一组预测器（比如分类器或回归器）的预测，得到的预测结果也比最好的单个预测要好。这样的一组预测器，我们称为集成，所以这种技术，也被称为集成学习，而一个集成学习的算法则被称为集成方法。目前最流行的几种集成方法，包括bagg...

2019-05-08 16:09:28 1529