自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

翻译 深度可分离卷积

参考:https://www.yanxishe.com/TextTranslation/1639 可分离卷积的基本介绍 任何看过MobileNet架构的人都会遇到可分离卷积(separable convolutions)这个概念。但什么是“可分离卷积”,它与标准的卷积又有什么区别? ...

2020-01-21 15:11:35 147 0

原创 循环神经网络RNN【小记一】

什么是RNN 循环神经网络(Recurrent Neural Networks, RNN)已经被成功的应用于音乐生成、对话生成、图像生成、语音合成和分子设计。不同于传统的前向反馈神经网络(Feedforward Neural Networks, FNNS),RNNS引入了定向循环,可以处理...

2020-01-20 10:09:05 244 0

原创 谈谈深度学习中的模型集成

前文已经给出了三种可提升模型性能的方法论:残差连接、正则化和深度可分离卷积。本文提出另一种强大的技术是模型集成(model ensembling)。 集成是指将一些列不同模型的预测结果汇集到一起,从而得到更好的预测结果。 集成依赖于这样的假设,即对于独立训练的不同良好模型,他们表现...

2020-01-17 15:03:36 279 0

原创 深度学习中的超参数优化

构建深度学习模型时,你必须做出许多看似随意的决定:应该堆叠多少层?每层包含多少个单元或过滤器?激活函数应该使用relu还是其他函数?在某一层之后是否应该使用BatchNormalization?应该使用多大的dropout比率?还有很多,这些在架构层面的参数叫做超参数(hyperparameter...

2020-01-17 10:54:26 166 0

原创 让深度学习模型的性能发挥到极致的方法

深度学习的表示瓶颈 在Sequential模型中,每个连续的表示层都构建于前一层之上,这意味着它只能访问前一层激活中包含的信息。如果某一层太小(比如特征维度太低),那么模型将会受限于该层激活中能够塞入多少信息。 你可以通过类比信号处理来理解这个概念:假设你有一条包含一些列操作的音...

2020-01-16 17:23:19 141 0

转载 resnet中的残差连接

本文转自微信公众号“言有三”:【模型解读】resnet中的残差连接,你确定真的看懂了? 一、残差连接 想必做深度学习的都知道skip connect,也就是残差连接,那什么是skipconnect呢?如下图 上面是来自于resnet【1】的skip block的示意图。我们可以使用一个非...

2020-01-16 11:48:32 153 0

转载 详解残差网络

在VGG中,卷积网络达到了19层,在GoogLeNet中,网络史无前例的达到了22层。那么,网络的精度会随着网络的层数增多而增多吗?在深度学习中,网络层数增多一般会伴着下面几个问题 计算资源的消耗 模型容易过拟合 梯度消失/梯度爆炸问题的产生 问题1可以通过GPU集群来解决,对于一个企业资源...

2020-01-15 15:54:20 218 0

转载 卷积神经网络中的1x1卷积核的作用

前言 在介绍卷积神经网络中的1x1卷积之前,首先回顾卷积网络的基本概念[1]。 1. 卷积核(convolutional kernel):可以看作对某个局部的加权求和;它是对应局部感知,它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体,而是先从局部开始认识,这就对应了卷积。卷...

2020-01-15 14:59:28 159 0

原创 卷积神经网络CNN在序列处理中的应用

众所周知,CNN在机器视觉问题上表现出色,因为它能够进行卷积运算,从局部输入图块中提取特征,并能够将表示模块化,同时可以高效利用数据。 这些性质让卷积神经网络在计算机视觉领域表现优异,同样也让他对序列处理特别有效。时间可以被看做一个空间维度,就像二维图像的高度或宽度。 对于某些序列...

2020-01-13 17:52:50 454 0

转载 网络模型中Inception的作用与结构全解析

一 论文下载   本文涉及到的网络模型的相关论文以及下载地址: [v1] Going Deeper with Convolutions, 6.67% test error http://arxiv.org/abs/1409.4842 [v2] Batch Normalization: Accel...

2020-01-10 14:53:32 64 0

原创 循环神经网络的高级用法

本文将介绍提高神经网络的性能和泛化能力的三种高级技巧。 1)循环dropout(recurrent dropout)。这是一种特殊的内置方法,在循环层中使用dropout来降低过拟合。 2)堆叠循环层(stacking recurrent layers)。这会提高网络的表示能力(代价是更高的计...

2020-01-09 15:44:31 106 0

原创 Keras Sequential 顺序模型

Keras Sequential 顺序模型 https://keras.io/zh/getting-started/sequential-model-guide/#keras-sequential 顺序模型是多个网络层的线性堆叠。 你可以通过将网络层实例的列表传递给Sequential的构造...

2020-01-08 16:02:28 50 0

原创 一句话版CNN学习

1)机器视觉的主要任务: image classification:即对图片做单一物体识别; object detection:即对图片做多物体识别,同事用方框框柱物体 ; neural style transfer:即用一张图片的内容不变,但风格别另一张图片的风格取代。 ...

2019-12-27 09:31:00 42 0

原创 卷积神经网络CNN的可视化

通常我们认为深度学习模型是“黑盒”的,即模型学到的表示很难用人类可以理解的方式来提取和呈现。然而对于卷积神经网络来说却不是这样的。CNN学到的表示非常适合可视化,因为CNN本身就是视觉概念的表示。 CNN可视化和解释:【本文给出3个层面的可视化】 1)可视化卷积神经网络的中间输出(中间激活) ...

2019-12-26 14:23:03 168 0

原创 小型图像数据集效果优化:使用预训练的CNN

面对解决小型图像数据集,一种常用且非常高效的方法是使用预训练网络。那么什么是预训练网络呢? 定义: 预训练网络(pretrained network)是一个保存好的网络,之前已经在大型数据集(通常是大规模图像分类任务)上训练好。 作用: 如果这个原始数据集足够大且足够通用,那么预训练网络学...

2019-12-24 10:50:38 392 0

原创 数据增强

数据增强(data augmentation)在计算机视觉领域是一种非常强大的降低过拟合的技术。 计算机视觉在深度学习中之所以过拟合,原因是学习样本太少,导致无法训练出能够泛化到新数据的模型。如果拥有无限的数据,那么模型能够观察到数据分布的所有内容,这样就不会过拟合。 数据增强是从现有的训练样...

2019-12-20 09:28:16 83 0

原创 CNN-[deep learning with python]学习笔记

在学习笔记P20-CNN中已经介绍了CNN的一些知识,这篇主要是补充和更深程度的梳理: 上文中提到"从效果上来看,卷积层相比于全连接层减少了参数、实现了参数共享。”即,本质上卷积和全连接的区别是,全连接层从输入特征空间中学习的是全局模式,而卷积层学习到的是局部模式,对于图像来说,学到的...

2019-12-19 15:28:00 137 0

原创 机器学习的四个分支

机器学习是非常宽泛的领域,其子领域的划分非常复杂。机器学习算法大致可分为四大类: 1)监督学习 2)无监督学习 3)自监督学习 4)强化学习 一、监督学习 监督学习是最常见的机器学习类型。给定一组样本(通常由人工标注),它可以学会将输入数据映射到已知目标【也叫作标注(annota...

2019-12-19 09:30:42 143 0

原创 训练IMDB数据集,但是出现"ValueError: Object arrays cannot be loaded when allow_pickle=False"的错误

训练IMDB数据集,但是出现"ValueError: Object arrays cannot be loaded when allow_pickle=False"的错误. 解决办法: 重新安装numpy imdb支持的numpy版本在1.16.2 restart 再执行 就...

2019-12-18 10:26:09 65 0

原创 Keras入门级实战——MNIST手写体识别

手写体识别: 这里要解决的问题是,将手写数字的灰度图像(28 像素×28 像素)划分到 10 个类别 中(0 ~ 9)。这个数据集包含 60 000 张训练图像和 10 000 张测试图 像,由美国国家标准与技术研究院(National Institute of Standards and Te...

2019-12-18 09:57:18 34 0

原创 Keras入门级简介

Keras是一个Python深度学习框架,可以方便定义和训练几乎所有类型的深度学习模型。最开始Keras是为研究人员开发,其目的就是为了快速市验。 Keras具有以下重要特性: 1)相同的代码可以在CPU或GPU上无缝切换运行。 2)具有用户友好的API,便于快速开发深度学习的原型。 3)...

2019-12-18 09:29:24 37 0

原创 神经网络结构拆分理解

训练神经网络主要围绕一下四个方面: 1)层,多个层组合成网络(或模型)。 2)输入数据和相应的目标。 3)损失函数,即用于学习的反馈信号。 4)优化器,决定学习过程如何进行。 将上述四者的关系可视化为: 多个层链接在一起组成了网络,将输入数据映射为预测值。然后损失函数将这些预测值与...

2019-12-17 17:45:27 107 0

原创 张量tensor——神经网络数据的表示

一般来说,当前所有机器学习系统都使用张量作为基本数据结构。 张量的核心在于,它是一个数据容器。它包含的数据几乎总是数值数据,因此它是数字的容器。如矩阵,它是二维张量。张量是矩阵向任意维度的推广。【注意:张量的维度(dimension)通常叫做轴(axis)】 一、不同维度张量介绍 1.1、标...

2019-12-17 16:39:21 135 0

原创 CNN中卷积层和池化的作用和理解

承接上文对CNN的介绍[学习笔记P20-CNN],下面来看看一些细节梳理: CNN框架: 池化层(pooling layer)也叫做子采样层(subsampling layer),其作用是进行特征选择,降低特征数量,并从而减少参数数量。 为什么conv-layer之后需要加pooli...

2019-12-17 11:34:48 344 0

原创 学习笔记P20-CNN

学习网址:https://www.bilibili.com/video/av48285039?p=20 前言 CNN【Convolutional Neural Network,CNN或ConvNet】通常被用在影像处理的问题上,但是并不是说只有CNN才能做影像处理,一般的Neuron Netw...

2019-12-17 11:13:54 93 0

原创 CNN中padding的作用

padding是增加图片各个边的pixels的数量,具体增加的数量由filter的尺寸和stride大小共同决定。padding的上限是维持feature map大小和原图大小一致。目的是保持feature map不要太小。 padding的意义: 1)为了不丢弃原图信息 2)为了保持fea...

2019-12-17 09:40:24 219 0

原创 tensorflow和keras以及python对应版本号

可以在这个网址查看tensorflow和keras对应的版本:https://docs.floydhub.com/guides/environments/ pip install --upgrade keras==2.1.0 升级到指定版本 pip install keras==2.0.9安...

2019-12-13 15:11:38 1246 0

原创 学习笔记P12——BP算法

学习网址:https://www.bilibili.com/video/av48285039?p=12 用gradient descent的方法来train一个neuron network应该怎么做?通常利用BP【Backpropagation】算法。 本文主要介绍BP如何让neuron ne...

2019-12-12 16:19:45 17 0

原创 学习笔记P11——DL 简介

学习视频网址:https://www.bilibili.com/video/av48285039?p=11 Deep Learning 的发展历程: Deep learning 和Machine Learning的过程是一样的,可以总结为三个步骤: 对于DL而言,第一步定义一个函...

2019-12-12 11:16:22 42 0

转载 使用matplotlib的函数时报错ValueError: max() arg is an empty sequence

本文链接:https://blog.csdn.net/weixin_42214565/article/details/100113735 本文记录学习过程中遇到的问题、我的解决过程以及学习心得,如有错误之处,欢迎指正! 最近在学习莫烦pytorch教程时遇到错误:ValueError: max...

2019-12-11 15:18:16 279 0

原创 基于tensorflow的LSTM实战:MNIST分类

设置 RNN 的参数¶ 这次我们会使用 RNN 来进行分类的训练 (Classification). 会继续使用到手写数字 MNIST 数据集. 让 RNN 从每张图片的第一行像素读到最后一行, 然后再进行分类判断. 接下来我们导入 MNIST 数据并确定 RNN 的各种参数(hyper-par...

2019-12-10 10:50:33 36 0

原创 ValueError: Only call `softmax_cross_entropy_with_logits` with named arguments (labels=..., logits=.

使用tensorflow训练时报错:ValueError: Only call `softmax_cross_entropy_with_logits` with named arguments (labels=..., logits=. 解决办法: tf.nn.softmax_cros...

2019-12-10 10:34:30 74 0

转载 通俗理解tf.name_scope()、tf.variable_scope()

前言:最近做一个实验,遇到TensorFlow变量作用域问题,对tf.name_scope()、tf.variable_scope()等进行了较为深刻的比较,记录相关笔记: tf.name_scope()、tf.variable_scope()是两个作用域函数,一般与两个创建/调用变量的函数tf...

2019-12-06 16:40:05 17 0

原创 浅谈卷积神经网络CNN

卷积神经网络是近些年逐步兴起的一种人工神经网络结构, 因为利用卷积神经网络在图像和语音识别方面能够给出更优预测结果, 这一种技术也被广泛的传播可应用. 卷积神经网络最常被应用的方面是计算机的图像识别, 不过因为不断地创新, 它也被应用在视频分析, 自然语言处理, 药物发现, 等等. 前期最火的 A...

2019-12-04 10:49:01 64 0

原创 tensorflow中解决过拟合(overfitting)的方法

Overfitting 也被称为过度学习,过度拟合。 它是机器学习中常见的问题。 举个Classification(分类)的例子。 图中黑色曲线是正常模型,绿色曲线就是overfitting模型。尽管绿色曲线很精确的区分了所有的训练数据,但是并没有描述数据的整体特征,对新测试数据的适应性较差...

2019-12-04 10:05:40 38 0

原创 过拟合 (Overfitting)在机器学习和深度学习中的解决方式

学习资料: Tensorflow: dropout教程 PyTorch: dropout教程 Theano: l1 l2 regularization教程 解决方法 方法一: 增加数据量, 大部分过拟合产生的原因是因为数据量太少了. 如果我们有成千上万的数据, 红线也会慢慢被拉直,...

2019-12-03 17:01:41 33 0

原创 tf.reduce_sum函数中reduction_indices详解

TensorFlow 的python使用方式: 在tensorflow的使用中,经常会使用tf.reduce_mean,tf.reduce_sum等函数,函数中reduction_indices参数表示函数的处理维度: reduction_indices参数的值默认的时候为None,默认把所有的数...

2019-12-03 16:33:48 186 0

原创 李宏毅P1-学习笔记:生成对抗网络GAN(Generative Adversarial Nets)

Generative Adversarial Network (GAN)于2014年提出。论文下载地址:https://arxiv.org/pdf/1406.2661.pdf 李宏毅对抗生成网络(GAN)国语教程(2018): https://www.bilibili.com/video/av...

2019-11-21 16:38:18 241 0

原创 tensorflow学习笔记:TensorFlow的基本使用

TensorFlow 的特点: 使用图 (graph) 来表示计算任务. 在被称之为会话 (Session)的上下文 (context) 中执行图. 使用 tensor 表示数据. 通过变量 (Variable)维护状态. 使用 feed 和 fetch 可以为任意的操作(arbitra...

2019-11-19 13:40:46 29 0

转载 markdown基本语法

Markdown是一种纯文本格式的标记语言。通过简单的标记语法,它可以使普通文本内容具有一定的格式。 相比WYSIWYG编辑器 优点: 1、因为是纯文本,所以只要支持Markdown的地方都能获得一样的编辑效果,可以让作者摆脱排版的困扰,专心写作。 2、操作简单。比如:WYSIWYG编辑时标记...

2019-11-15 10:23:26 113 0

提示
确定要删除当前文章?
取消 删除