深度学习
文章平均质量分 69
shelleyHLX
这个作者很懒,什么都没留下…
展开
-
深度学习 100 题
1、梯度下降算法的正确步骤是什么?a.计算预测值和真实值之间的误差b.重复迭代,直至得到网络权重的最佳值c.把输入传入网络,得到输出值d.用随机值初始化权重和偏差e.对每一个产生误差的神经元,调整相应的(权重)值以减小误差A.abcde B.edcba C.cbaed D.dcaeb解析:正确答案D,考查知识点-深度学习。2、已知:- 大脑是有很多个叫做神经元的东西构成,神经网络是对大脑的简单的数学表达。- 每一个神经元都有输入、处理函数和输出。- 神...转载 2020-12-10 09:53:58 · 9771 阅读 · 0 评论 -
keras技巧——如何获取某一个网络层的输出
前言:keras默认提供了如何获取某一个层的某一个节点的输出,但是没有提供如何获取某一个层的输出的接口,所以有时候我们需要获取某一个层的输出,则需要自己编写代码,但是鉴于keras高层封装的特性,编写起来实际上很简单,本文提供两种常见的方法来实现,基于上一篇文章的模型和代码:keras自定义回调函数查看训练的loss和accuracy一、模型加载以及各个层的信息查看从前面的定义可知,参见上一篇文章,一共定义了8个网络层,定义如下:model.add(Convolution2D(filt...转载 2020-11-10 11:19:02 · 881 阅读 · 0 评论 -
cnn的特点和参数计算
文章目录1.层级结构1.1.数据输入层/ Input layer1.2.卷积计算层/ CONV layer1.3.激励层 (ReLU)1.3.1.sigmoid1.3.2. ReLU1.3.3. Leaky ReLU1.4.池化层 / Pooling layer1.5.全连接层 / FC layer2.典型的CNN3.fine-tuning4.CNN的常用框架5.CNN训练注意事项5.1.Mi...转载 2020-05-08 14:12:01 · 2667 阅读 · 1 评论 -
ResNet(Residual Neural Network)的原理和tf实现
文章目录1.Highway Network简介2.模型加深存在的问题3.为什么深度模型难以训练3.1.链式法则与梯度弥散4.ResNet的特点5.VGGNet-19 VS ResNet-34(ResNet的创新点)6.ResNet不同层数的网络配置7.TensorFlow 实现ResNet V2网络resnet_v1_101网络图ResNet(Residual Neural Network)由微...原创 2020-05-08 13:45:34 · 4383 阅读 · 0 评论 -
采用kerassurgeon对cnn网络进行剪枝
原始模型的代码:#-*-coding:utf-8-*-from keras.datasets import mnistfrom keras.layers import *from keras.models import Modelfrom keras.optimizers import Adamfrom kerassurgeon.operations import delete_la...原创 2020-05-06 10:58:34 · 3483 阅读 · 11 评论 -
No module named ''tensorflow.python.eager"
主要是tensorflow和keras的版本不对应的问题import keras的时候,提示: “No module named ''tensorflow.python.eager”."而且网上竟然没有解决方案。就考虑了一下tf和keras的版本,我用的tf1.3,keras2.3.1,就把keras卸载,重装了2.1.2,就没有问题了。在这里插入图片描述成功:在这里插入图...原创 2020-03-27 10:00:08 · 493 阅读 · 0 评论 -
Ubuntu16.04 安装nvidia titan rtx 24g 驱动,cuda9.2,cudnn750及tensorflow,pytorch,keras
1.sudo apt-get update2.sudo gedit /etc/modprobe.d/blacklist.conf (打开文件)blacklist nouveau (在文件中添加该命令,然后保存退出) 使该命令执行: sudo update-initramfs -u3.reboot (重启客户端)这里要尤其注意,安装显卡驱动要先切换到文字界面...原创 2019-04-28 22:51:33 · 3402 阅读 · 2 评论 -
线性回归之Nesterov梯度下降(nesterov)
对于梯度下降,只能说:没有最可怕,只有更可怕。当动量梯度下降出来之后不久,就有大神再次提出nesterov梯度下降的方法,也是继承了动量梯度的思修,但是它认为,即使当前的梯度为0,由于动量的存在,更新梯度依然会存在并继续更新w。而继续当前点w的梯度是不太有意义的,有意义的是,假设下一个点w(仅靠动量滚到下一个点的w)的梯度方向才是决定当前梯度的重要因素。举个通俗的例子就是,你在下坡时,如果在...转载 2019-12-09 10:39:12 · 553 阅读 · 0 评论 -
Saw a non-null label (index >= num_classes - 1) following a null label, batch: 30 num_classes: 5990
File "/home/hlx/anaconda3/lib/python3.5/site-packages/keras/legacy/interfaces.py", line 91, in wrapper return func(*args, **kwargs) File "/home/hlx/anaconda3/lib/python3.5/site-packages/keras...原创 2019-11-07 09:05:10 · 2055 阅读 · 3 评论 -
我的模型有多快?——深度学习网络模型的运算复杂度、空间占用和内存访问情况计算
文章目录1.计算消耗1.1 全连接层1.2 激活函数1.3 卷积层1.4 Batch Normalization1.5 其他层2. 内存占用2.1 权重的内存占用2.2 feature maps 和中间结果2.3 Fusion3. MobileNet V2 vs. V14 结论进一步阅读前段时间看了几个笔试题,涉及模型复杂度,主要是参数量和计算复杂度的问题。当时搜了一下感觉中文网上的内容比较乱。...转载 2019-10-24 14:49:25 · 913 阅读 · 0 评论 -
后向传播算法(Back Propagation Algorithm)
本文转自知乎,作者晓雷。原文链接:https://zhuanlan.zhihu.com/p/25081671 (上篇)https://zhuanlan.zhihu.com/p/25416673 (下篇)转载 2019-10-24 13:45:47 · 273 阅读 · 0 评论 -
TensorFlow和Caffe、MXNet、Keras等深度学习框架的对比
Google 近日发布了 TensorFlow 1.0 候选版,这第一个稳定版将是深度学习框架发展中的里程碑的一步。自 TensorFlow 于 2015 年底正式开源,距今已有一年多,这期间 TensorFlow 不断给人以惊喜。在这一年多时间,TensorFlow 已从初入深度学习框架大战的新星,成为了几近垄断的行业事实标准。主流深度学习框架对比深度学习研究的热潮持续高涨,各种转载 2017-12-31 15:55:30 · 3739 阅读 · 0 评论 -
Principles of training multi-layer neural network using backpropagation 使用后向传播算法训练多层神经网络的规则
转自:http://home.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.htmlThe project describes teaching process of multi-layer neural network employing backpropagation algorithm. To illustrate this process the thre...原创 2018-03-03 14:26:12 · 578 阅读 · 0 评论 -
课程--智能优化方法及其应用
智能优化方法及其应用授课老师:连宙辉 副教授http://www.icst.pku.edu.cn/zlian/course/IOMA/#Introduction:原创 2018-03-03 16:13:39 · 1364 阅读 · 0 评论 -
Deep Learning 101 - Part 2: Multilayer Perceptrons
转自:https://beamandrew.github.io/deeplearning/2017/02/23/deep_learning_101_part2.htmlWhat to do when you have standard tabular data. This post covers the basics of standard feed-forward neural nets, ak...转载 2018-03-03 16:41:01 · 793 阅读 · 0 评论 -
Deep Learning 101 - Part 1: History and Background
转自:http://beamandrew.github.io/deeplearning/2017/02/23/deep_learning_101_part1.htmlThe first in a multipart series on getting started with deep learning. In this part we will cover the history of deep...转载 2018-03-03 16:43:39 · 1665 阅读 · 0 评论 -
网址
Calculus on Computational Graphs: Backpropagation:http://colah.github.io/posts/2015-08-Backprop/Understanding LSTM Networkshttp://colah.github.io/posts/2015-08-Understanding-LSTMs/Understanding Convol...原创 2018-03-03 20:35:03 · 232 阅读 · 0 评论 -
反向传播算法(Backpropagation)
转自:https://zhuanlan.zhihu.com/p/25081671目录:1 用计算图来解释几种求导方法:1.1 计算图1.2 两种求导模式:前向模式求导( forward-mode differentiation) 反向模式求导(reverse-mode differentiation)1.3 反向求导模式(反向传播算法)的重要性声明:本文内容来自 Calculus on Compu...转载 2018-03-03 20:46:41 · 2519 阅读 · 0 评论 -
详解反向传播算法(下)
转自:https://zhuanlan.zhihu.com/p/25416673神经网络结构图:示例网络图其中C是损失函数,例如C可以取:梯度下降(SGD)进行学习时,核心问题是求解损失函数C关于所有网络参数的偏导数。 根据详解反向传播算法(上) 我们已经知道用反向传播算法可以“一次反向计算”得到损失函数C关于网络中所有参数的偏导数。模仿详解反向传播算法(上) 的推理过程,我们首先画出上面网络图的...转载 2018-03-03 21:15:04 · 574 阅读 · 0 评论 -
直观地解释 back propagation 算法
作者:胡逸夫链接:https://www.zhihu.com/question/27239198/answer/89853077来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。BackPropagation算法是多层神经网络的训练中举足轻重的算法。简单的理解,它的确就是复合函数的链式法则,但其在实际运算中的意义比链式法则要大的多。要回答题主这个问题“如何直观的解释ba...转载 2018-03-04 10:01:06 · 871 阅读 · 0 评论 -
计算卷积神经网络的各层输出大小
# coding: utf-8import osimport codecsimport numpy as npfrom sklearn.preprocessing import scaleimport tensorflow as tfdef weight_variable(shape): initial = tf.truncated_normal(shape, std...原创 2018-03-04 22:05:43 · 5062 阅读 · 0 评论 -
https://blog.csdn.net/appleml/article/details/49923577
原文地址:http://www.csdn.net/article/2015-09-14/2825693英文地址:http://apaszke.github.io/lstm-explained.html摘要:Long Short Term网络一般叫做 LSTM,是一种 RNN 特殊的类型,可以学习长期依赖信息。LSTM 由 Hochreiter & Schmidhuber (1997) 提出...转载 2018-04-22 12:59:35 · 1960 阅读 · 0 评论 -
RNN以及LSTM的介绍和公式梳理
前言好久没用正儿八经地写博客了,csdn居然也有了markdown的编辑器了,最近花了不少时间看RNN以及LSTM的论文,在组内『夜校』分享过了,再在这里总结一下发出来吧,按照我讲解的思路,理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。RNN最近做出了很多非常漂亮的成果,比如Alex Graves的手写文字生成、名声大振的『根据图片生成描述文字』、输出类似训练语料的文字等应用,都让人...转载 2018-04-22 13:04:42 · 289 阅读 · 0 评论 -
(译)理解 LSTM 网络 (Understanding LSTM Networks by colah)
转自:https://blog.csdn.net/Jerr__y/article/details/58598296@翻译:huangyongye原文链接: Understanding LSTM Networks前言:其实之前就已经用过 LSTM 了,是在深度学习框架 keras 上直接用的,但是到现在对LSTM详细的网络结构还是不了解,心里牵挂着难受呀!今天看了 tensorflow 文档上面推荐...转载 2018-04-22 13:17:06 · 870 阅读 · 0 评论 -
ubuntu16.04+Anaconda3 4.2.0+cudnn-8.0-linux-x64-v6.0.tgz+cuda-repo-ubuntu1604-8-0-local_8.0.44-1_amd
website:https://blog.csdn.net/zhaoyu106/article/details/52793183ubuntu16.04安装后设置A. 创建用户adduser hlxB. 用户名不在 sudoers 文件中。此事将被报告"的问题gedit /etc/sudoersroot ALL=(ALL:ALL) ALL 在下面添加你自己的账号,后面部分和root一样即可。...原创 2018-04-22 20:04:02 · 1031 阅读 · 0 评论 -
Ubuntu16.04+Nvidia GTX 1080+CUDA9.0+cuDNN7+Tensorflow1.4+Anaconda安装
转自:https://blog.csdn.net/myknotruby/article/details/78507493记录一下Tensorflow 1.4的安装过程,安装环境:操作系统Ubuntu16.04 TLS显卡NVIDIA GTX 1080CUDA9.0+cuDNN7Python: 2.7Anaconda 5.0.1主要参考资料:https://www.tensorflow.org/in...转载 2018-05-19 11:24:53 · 510 阅读 · 0 评论 -
ubuntu16.04显卡驱动安装
机器配置:显卡类型:N卡系统:Ubuntu 16.04 LTS0.综述目前,知道3种安装N卡驱动的方法:1.PPA源:最简便,但未必有最新驱动(亲测), 或可能遇到问题.2.安装CUDA时,顺便安装驱动:但未必是最新驱动.3.去官网下载最新驱动,然后本地安装.安装过程1.先卸载原有N卡驱动sudo apt-get remove --purge nvidia* #卸载原有显卡驱动2.禁用nouve...转载 2018-05-19 11:39:50 · 5263 阅读 · 1 评论 -
深度学习(1)概论
什么是深度学习?深度学习是基于机器学习延伸出来的一个新的领域,由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展,并伴随大数据和计算能力的提高而产生的一系列新的算法。深度学习什么时间段发展起来的?其概念由著名科学家Geoffrey Hinton等人在2006年和2007年在《Sciences》等上发表的文章被提出和兴起。学习能用来干什么?为什么近年来引起如此广泛的关注?深度学习,作...原创 2018-05-13 16:20:42 · 483 阅读 · 0 评论 -
深度学习入门资源
1.、笨方法学习python,learn python the hard way2、廖雪峰的python入门3、edx:introduction to computer science and programming using python4、线性代数:《线性代数应该这样学》linear algebra done rightmit的线性代数公开课coding the matrix5、机器学习基础...原创 2018-05-21 20:40:02 · 158 阅读 · 0 评论 -
激活函数--activation function
https://en.wikipedia.org/wiki/Rectifier_(neural_networks)在人工神经网络,rectifier是一个激活函数,定义如下:rectified linear unit (ReLU):他的平滑模式是:softplus function:他的导数是:也就是逻辑函数,逻辑斯蒂函数logistic functionNoisy ReLUs:在restrict...原创 2018-05-27 15:08:30 · 392 阅读 · 0 评论 -
Tensorflow四种交叉熵函数计算公式
Tensorflow交叉熵函数:cross_entropy注意:tensorflow交叉熵计算函数输入中的logits都不是softmax或sigmoid的输出,而是softmax或sigmoid函数的输入,因为它在函数内部进行sigmoid或softmax操作 tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=...转载 2018-05-23 11:17:29 · 1178 阅读 · 0 评论 -
深入浅出——网络模型中Inception的作用与结构全解析
一 论文下载 本文涉及到的网络模型的相关论文以及下载地址: [v1] Going Deeper with Convolutions, 6.67% test error http://arxiv.org/abs/1409.4842 [v2] Batch Normalization: Accelerating Deep Network Training by Reducing Internal...转载 2018-06-11 11:20:58 · 237 阅读 · 0 评论 -
自然语言处理中的多模型深度学习
转自: https://blog.csdn.net/guohao_zhang/article/details/78966527这里先分享两个分享: 一个是用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践,另一个是 brightmart 的 text_classification,里面用 Keras 实现了很多文本分类的模型)以及...转载 2018-06-05 09:20:20 · 466 阅读 · 0 评论 -
Batch Normalization
转载请标明出处:http://blog.csdn.net/wuzqChom/article/details/780246531. 背景 先来看看为什么要归一化操作吧。 归一化之前和归一化之后的代价函数示意图,左边的最归一化之前,右边为归一化之后,最中间的点为我们要优化的最优点(图片来自Andrew最新deeplearning.ai改善深层神经网络课程的1.9 Normalizing inputs)...转载 2018-06-05 10:18:53 · 144 阅读 · 0 评论 -
深度学习笔记——RNN(LSTM、GRU、双向RNN)学习总结
https://blog.csdn.net/mpk_no1/article/details/72875185RNN( Recurrent Neural Networks循环神经网络)循环神经网络的主要用途是处理和预测序列数据,在全连接神经网络或卷积神经网络中,网络结果都是从输入层到隐含层再到输出层,层与层之间是全连接或部分连接的,但每层之间的结点是无连接的。考虑这样一个问题,如果要预测句子的下一个...转载 2018-06-05 11:53:09 · 1394 阅读 · 0 评论 -
自然语言处理中的Attention Model:是什么及为什么
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 转自: https://blog.csdn.net/malefactor/article/details/50550211要是关注深度学习在自然语言处理方面的研究进展,我相信你一定听说...转载 2018-06-05 13:39:15 · 166 阅读 · 0 评论 -
tensorflow 学习(三)使用flags定义命令行参数
tf定义了tf.app.flags,用于支持接受命令行传递参数,相当于接受argv。import tensorflow as tf#第一个是参数名称,第二个参数是默认值,第三个是参数描述tf.app.flags.DEFINE_string('str_name', 'def_v_1',"descrip1")tf.app.flags.DEFINE_integer('int_name', 10,...转载 2018-06-05 14:14:27 · 187 阅读 · 0 评论 -
tf.clip_by_global_norm理解
https://blog.csdn.net/u013713117/article/details/56281715 Gradient Clipping的引入是为了处理gradient explosion或者gradients vanishing的问题。当在一次迭代中权重的更新过于迅猛的话,很容易导致loss divergence。Gradient Clipping的直...转载 2018-06-05 14:18:04 · 254 阅读 · 0 评论 -
tensorflow官网进不去,因为它的地址改变了
以前的网址是https://www.tensorflow.org/,当时得fq才能打开,现在这个我fq都打不开了。现在新网址是https://tensorflow.google.cn/这个不fq都可以打开了。总体来讲是好事,不fq就能查到资料了。...转载 2018-05-24 22:01:00 · 3631 阅读 · 0 评论 -
TensorFlow指定GPU使用及监控GPU占用情况
查看机器上GPU情况命令: nvidia-smi功能:显示机器上gpu的情况命令: nvidia-smi -l功能:定时更新显示机器上gpu的情况命令:watch -n 3 nvidia-smi功能:设定刷新时间(秒)显示GPU使用情况其中左上侧有0、1、2、3的编号,表示GPU的编号,在后面指定GPU时需要使用这个编号。在终端执行程序时指定GPU CUDA_VISIBLE_DEVICES=1...转载 2018-05-24 19:29:15 · 3405 阅读 · 0 评论