深度学习
老司机的诗和远方
非1即0!
展开
-
ValueError: setting an array element with a sequence.
这个问题主要出现在于要将list转换为numpy.array做一些数学计算时候,出现list的某一个维度上元素的个数不一致,就会转换失败。解决方法;请确保list的shape没问题,他能够有正常的shape表示,也就是是一个矩阵而不是一个序列...原创 2018-07-05 09:58:17 · 44760 阅读 · 0 评论 -
手撕CNN常见模型
最近在折腾CNN常见的几个网络模型以及相关源码的解读,以下是这段时间对这些网络的认识总结。谨用文字描述如下,望能对你有所帮助。1、Alexnet是一个7层网络,5层卷积,2层全连接4096神经元。包含特色ReLu、LRN、pool。同时该网络卷积层采用的是一种并行结构,并行运算使得计算更加快速!2、VGGNet根据卷积层数不同,有几个变种,经典有VGG16和VGG19,是AlexNet更深的表现,...原创 2018-02-10 20:39:31 · 744 阅读 · 0 评论 -
tf卷积层外加BN实现
def conv_layer(inpt, filter_shape, stride): out_channels = filter_shape[3] filter_ = weight_variable(filter_shape) conv = tf.nn.conv2d(inpt, filter=filter_, strides=[1, stride, stride, 1]...原创 2018-02-10 21:39:30 · 1493 阅读 · 0 评论 -
tf的pad函数(填充)
今天用到pad函数,看文档看了老半天,后面终于弄懂了。以下是本人的理解总结文档的内容:# 't' is [[1, 2, 3], [4, 5, 6]].# 'paddings' is [[1, 1,], [2, 2]].# 'constant_values' is 0.# rank of 't' is 2.pad(t, paddings, "CONSTANT") ==> [[0, 0, 0, ...转载 2018-02-10 18:16:29 · 1280 阅读 · 0 评论 -
inceptionV4及其tf代码
1. inception v4图1.1 inception v4 网络结构图 图1.2 图1.1的stem和Inception-A部分结构图 图1.3 图1.1的Reduction-A和Inception-B部分结构图 图1.4 图1.1的Reduction-B和Inception-C部分结构图import osimport numpy as npimport tensorflow as t...转载 2018-02-10 16:54:00 · 4263 阅读 · 2 评论 -
格式化字符输出
格式符格式符为真实值预留位置,并控制显示的格式。格式符可以包含有一个类型码,用以控制显示的类型,如下:%s 字符串 (采用str()的显示)%r 字符串 (采用repr()的显示)%c 单个字符%b 二进制整数%d 十进制整数%i 十进制整数%o 八进制整数%x 十六进制整数%e 指数 (基底写为e)原创 2018-01-28 09:31:26 · 568 阅读 · 0 评论 -
train-loss和test-loss之间关系:网络学习情况
train loss 不断下降,test loss不断下降,说明网络仍在学习;train loss 不断下降,test loss趋于不变,说明网络过拟合;train loss 趋于不变,test loss不断下降,说明数据集100%有问题;train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小学习率或批量数目;train loss 不断上升,test转载 2018-02-03 16:21:14 · 4493 阅读 · 2 评论 -
CV数据集
DetectionPASCAL VOC 2009 datasetClassification/Detection Competitions, Segmentation Competition, Person Layout Taster Competition datasetsLabelMe datasetLabelMe is a web-based image annotation too转载 2018-01-08 22:14:25 · 1560 阅读 · 0 评论 -
深度学习调参经验
经常会被问到你用深度学习训练模型时怎么样改善你的结果呢?然后每次都懵逼了,一是自己懂的不多,二是实验的不多,三是记性不行忘记了。所以写这篇博客,记录下别人以及自己的一些经验。Ilya Sutskever(Hinton的学生)讲述了有关深度学习的见解及实用建议:获取数据:确保要有高质量的输入/输出数据集,这个数据集要足够大、具有代表性以及拥有相对清楚的标签。缺乏数据集是很难成功的。预处理转载 2018-01-24 21:32:18 · 603 阅读 · 0 评论 -
CapsNet胶囊理论
背景 :CNN存在不足让我们考虑一个非常简单的非技术性例子。想象一张脸,想一下它是由哪些部件组成的?代表脸型的椭圆、两只眼睛、一个鼻子和一个嘴巴。对于CNN来说,仅仅这些对象的存在就是一个非常强烈的暗示,意味着图像中有一张脸。而组件的朝向和空间上的相对关系对CNN来说并不是很重要。也就是没有整体约束的判断能力!只要图像中含有人脸的各个部件就可以判断为人脸,而至于部件放位置是不管的! Hinton自原创 2017-12-03 22:52:59 · 2778 阅读 · 0 评论 -
当前深度神经网络模型压缩和加速方法速览
“本文介绍的论文全面概述了深度神经网络的压缩方法,主要可分为参数修剪与共享、低秩分解、迁移/压缩卷积滤波器和知识精炼,本论文对每一类方法的性能、相关应用、优势和缺陷等进行独到的分析。”大型神经网络具有大量的层级与结点,因此考虑如何减少它们所需要的内存与计算量就显得极为重要,特别是对于在线学习和增量学习等实时应用。此外,近来智能可穿戴设备的流行也为研究员提供了在资源(内存、CPU转载 2017-11-04 09:23:11 · 12737 阅读 · 0 评论 -
One-shot Learning
背景主要研究的是网络少样本精准分类问题,单样本学习能力!很明显,机器学习系统很希望拥有这种快速从少量样本中去学习的能力,因为收集和标记数据是一个耗时费力的工作。而且,我认为这是通往通用人工智能的漫漫长路中很重要的一步。主要的研究就是单样本多类别问题,一个样本多个label,也就是弱监督!Baseline:近邻最简单的分类方式是使用k-近邻,KNN方法,但是因为每个类别只有一个样本,所以我们需要用1近转载 2017-09-03 16:06:14 · 11608 阅读 · 0 评论 -
神经网络超参数影响
原创 2017-08-30 09:53:28 · 1088 阅读 · 0 评论 -
文章标题
为什么要调整学习速率? 随着时间的推移,调整学习速率与根据道路条件对汽车的速度进行调整相似。在高速公路等平稳宽阔的道路上,我们可以提高速度(学习速率),但是在狭窄的丘陵或山谷道路上,我们必须放慢速度。此外,我们不希望在高速公路上行驶得太慢,否则我们需要太长时间才能到达目的地(由于参数不正确而导致更长的训练时间)。同样,我们也不想在丘陵和狭窄的道路上(如优化损失函数曲面的沟壑)驾驶太快,因为转载 2017-09-05 09:29:00 · 332 阅读 · 0 评论 -
深度学习在目标检测进展
基于深度学习的目标检测目前主要是基于卷积神经网络和候选区域region proposal。本文将从四个方面对其进行阐述。一、传统目标检测主线:区域选择->特征提取->分类器 1、区域选取 采用滑动窗口的策略对整幅图像进行遍历,而且需要设置不同的尺度,不同的长宽比。这种穷举的策略虽然包含了目标所有可能出现的位置,但是缺点也是显而易见的:时间复杂度太高,产生冗余窗口太多,这也严重影响后续特征提取和分原创 2017-08-26 21:25:07 · 3407 阅读 · 1 评论 -
Autoencoder
转载:http://blog.csdn.net/marsjhao/article/details/73480859一、什么是自编码器(Autoencoder)自动编码器是一种数据的压缩算法,其中数据的压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。在大部分提到自动编码器的场合,压缩和解压缩的函数是通过神经网络实现的。1)自动编码器是数据相关的(data-specific转载 2017-08-23 10:24:31 · 5565 阅读 · 3 评论 -
ckpt2npy和npy2ckpt转换
1、ckpt2npy转换import tensorflow as tfimport numpy as npimport sysfrom model import AlexNetModel# Edit just theseFILE_PATH = '/Users/dgurkaynak/Projects/marvel-finetuning/training/alexnet_201711转载 2018-02-05 22:10:48 · 5799 阅读 · 1 评论 -
deeplabV1&deeplabV2
DeepLab V1:SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONALNETS AND FULLY CONNECTED CRFSBackground: CNN的一个特性是invariance(不变性),这个特性使得它在high-level的计算机视觉任务比如classification中,取得很好的效果。但是在sem转载 2018-02-06 10:23:25 · 1270 阅读 · 0 评论 -
npy2tfmodel
# Copyright 2017 Chenxi Liu. All Rights Reserved. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in complian转载 2018-02-06 11:00:13 · 497 阅读 · 0 评论 -
目标检测tfrecord
掌握一个深度学习框架的用法,从训练一个模型的流程来看,需要掌握以下几个步骤: 1. 数据的处理,包括训练数据转成网络的输入,模型参数的存储与读取 2. 网络结构的定义,包括网络主体的搭建以及loss的定义 3. solver的定义,也就是如何对网络进行优化 4. 模型评估的定义,也就是对模型训练结果进行评测这篇博文主要介绍第一部分,数据处理中的训练数据读取部分 tensorflow当中读取数据的方...转载 2018-07-04 14:39:38 · 1699 阅读 · 1 评论 -
COCO Dataset 数据特点
COCO Dataset 数据特点COCO数据集有超过 200,000 张图片,80种物体类别. 所有的物体实例都用详细的分割mask进行了标注,共标注了超过 500,000 个物体实体.{ person # 1 vehicle 交通工具 #8 {bicycle car motorcycle airplane...转载 2018-05-29 09:42:18 · 3411 阅读 · 0 评论 -
ResNet家族
ResNet在2015年被提出,在ImageNet比赛classification任务上获得第一名,因为它“简单与实用”并存,之后很多方法都建立在ResNet50或者ResNet101的基础上完成的,检测,分割,识别等领域都纷纷使用ResNet,Alpha zero也使用了ResNet,所以可见ResNet确实很好用。 下面我们从实用的角度去看看ResNet。1.ResNet意义随着网络的加深,出...转载 2018-06-11 17:34:14 · 810 阅读 · 1 评论 -
目标检测-20种常用深度学习算法、原味代码汇总
目录· R-CNN· Fast R-CNN· Faster R-CNN· Light-Head R-CNN· Cascade R-CNN· SPP-Net· YOLO· YOLOv2· YOLOv3· SSD· DSSD· FSSD· ESSD· Pelee· R-FCN· FPN· RetinaNet· MegDet· DetNet· ZSDR-CNNRich feature hierarchi...转载 2018-05-20 09:18:04 · 3616 阅读 · 0 评论 -
Googlenet v1、v2、v3、v4区别
Googlenet v1、v2、v3、v4区别Inception v1的网络,将1x1,3x3,5x5的conv和3x3的pooling,stack在一起,一方面增加了网络的width,另一方面增加了网络对尺度的适应性;v2的网络在v1的基础上,进行了改进,一方面了加入了BN层,减少了Internal Covariate Shift(内部neuron的数据分布发生变化),使每一层的输出都规范化到一...转载 2018-04-28 16:33:34 · 1641 阅读 · 0 评论 -
2017cvpr 目标检测
作者:xiaozhi链接:https://zhuanlan.zhihu.com/p/28088956来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。(1)Speed/accuracy trade-offs for modern convolutional object detectors其主要考虑三种检测器(Faster RCNN,R-FCN,SSD)作为元结构,三种...转载 2018-04-17 11:22:13 · 1281 阅读 · 0 评论 -
python正则表达式
正则表达式是一个很强大的字符串处理工具,几乎任何关于字符串的操作都可以使用正则表达式来完成,作为一个爬虫工作者,每天和字符串打交道,正则表达式更是不可或缺的技能,正则表达式的在不同的语言中使用方式可能不一样,不过只要学会了任意一门语言的正则表达式用法,其他语言中大部分也只是换了个函数的名称而已,本质都是一样的。下面,我来介绍一下python中的正则表达式是怎么使用的。 首先,python中的正则...转载 2018-02-16 20:30:15 · 386 阅读 · 0 评论 -
python2和python3区别
1、 __future__模块from __future__ import division 如果你希望在Python 2环境下写的代码也可以在Python 3.x中运行,那么建议使用__future__模块。2、print函数Python 2中的print语句被Python 3中的print()函数取代,这意味着在Python 3中必须用括号将需要输出的对象括起来。3、整数除法整型除法返回浮点数...转载 2018-02-16 14:59:26 · 330 阅读 · 0 评论 -
全年CCF级别会议列表
会议名缩写(会议CCF级别)会议全称一月HotOS(B): Workshop on Hot Topics in Operating SystemsCOMPSAC(C):Annual Computer Software and Applications ConferenceSIGCOMM(A): ACM International Conference on the applications, te...转载 2018-02-16 14:26:07 · 33092 阅读 · 0 评论 -
full paper、short paper、poster、oral & transaction、Conference、Workshop:
full paper、short paper、poster、oral:而CV界的会议一般分三级:oral,需要作者准备PPT上台进行presentation;poster,作者贴一张海报,如果有人感兴趣就会到该作者的墙报前面讨论;workshop,一般都是某些大牛觉得该领域有哪些方面是研究热点,就向会议chair申请开一个独立的研讨会,值得注意的是workshop是独立审稿的。总的来说,这些都算该...转载 2018-02-14 20:04:38 · 5733 阅读 · 0 评论 -
tf打印调试信息方法
Tensorflow之调试(Debug)及打印变量参考资料:https://wookayin.github.io/tensorflow-talk-debugging几种常用方法:1.通过Session.run()获取变量的值2.利用Tensorboard查看一些可视化统计3.使用tf.Print()和tf.Assert()打印变量4.使用Python的debug工具: ipdb, pudb5.利用...转载 2018-02-14 09:59:41 · 1735 阅读 · 0 评论 -
tf创建tfRecord文件
项目详细请猛戳我的github地址,直接可运行:https://github.com/SamXiaosheng/create-tfRecord下面是main文件代码和create tfRecord文件:import tensorflow as tffrom tfRecord import *import cv2FLAGS = tf.app.flags.FLAGStf.app.f原创 2018-02-07 16:23:32 · 849 阅读 · 0 评论 -
tf实现在上次训练结果上继续训练
代码很简单,只需要执行下面,自会自动将参数以及计算图恢复,准备计算。ckpt = tf.train.get_checkpoint_state(FLAGS.logs_dir)if ckpt and ckpt.model_checkpoint_path:saver.restore(sess, ckpt.model_checkpoint_path)#自动恢复model_checkpoint_pa...原创 2018-02-07 15:52:29 · 6356 阅读 · 2 评论 -
tf反卷积及其使用
函数接口:tf.nn.conv2d_transpose(value, filter, output_shape, strides, padding="SAME", data_format="NHWC", name=None)这里必须要注意参数的设置:除去name参数用以指定该操作的name,与方法有关的一共六个参数:第一个参数value:指需要做反卷积的输入图像,它要求是一个Ten原创 2018-02-07 14:10:53 · 1293 阅读 · 0 评论 -
tf三种损失函数
昨天复习几种常见loss的时候想起在tensorflow里使用常见loss需要注意的地方,主要是三个方法:1、tf.nn.sigmoid_cross_entropy_with_logits2、tf.nn.softmax_cross_entropy_with_logits3、tf.nn.sparse_softmax_cross_entropy_with_logits打不开的话可能需要转载 2018-02-05 20:00:58 · 2099 阅读 · 0 评论 -
AlexNet
论文地址:http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf中文翻译:http://blog.csdn.net/liumaolincycle/article/details/504964991. 网络结构2012年,Hinton的学生Al转载 2017-08-23 10:18:52 · 925 阅读 · 0 评论 -
VGGNet
论文地址:https://arxiv.org/abs/1409.1556VGGNet是牛津大学计算机视觉组(VisualGeometry Group)和GoogleDeepMind公司的研究员一起研发的的深度卷积神经网络。VGGNet探索了卷积神经网络的深度与其性能之间的关系,通过反复堆叠3*3的小型卷积核和2*2的最大池化层,VGGNet成功地构筑了16~19层深的卷积神经网络。VGGNet转载 2017-08-23 10:13:17 · 3134 阅读 · 0 评论 -
Keras深度神经框架
Keras: 基于Theano和TensorFlow的深度学习库Keras是一个高层神经网络库,Keras由纯Python编写而成并基Tensorflow或Theano。是专门为简易开发,减少代码量,让设计者更加注重理论设计。简易和快速的原型设计(keras具有高度模块化,极简,和可扩充特性)支持CNN和RNN,或二者的结合支持任意的链接方案(包括多输入和多输出训练)无缝C原创 2017-08-10 15:41:52 · 469 阅读 · 0 评论 -
深度学习学习7步骤
作者:李嘉璇链接:https://www.zhihu.com/question/49909565/answer/169949155来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。下面就来详细介绍一下这7个步骤。1.学习或者回忆一些数学知识因为计算机能做的就只是计算,所以人工智能更多地来说还是数学问题[1]。我们的目标是训练出一个模型,用转载 2017-08-10 15:14:12 · 6957 阅读 · 0 评论 -
常见优化方式
前言(标题不能再中二了)本文仅对一些常见的优化方法进行直观介绍和简单的比较,各种优化方法的详细内容及公式只好去认真啃论文了,在此我就不赘述了。SGD此处的SGD指mini-batch gradient descent,关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient d转载 2017-08-10 08:41:25 · 499 阅读 · 0 评论 -
TensorFlow学习之会话Sesstion()和交互会话InterativeSesstion()
今天学习tensorflow时发现除了Session()外,竟然还有个InteractiveSession()。这就让我这个初学者又开始抓耳挠腮的想了,这两者有什么不同呢,还要设置两个会话类型。现在将其两者的差别简单写一下,后期根据自己的学习状态及理解会不断的更新。在教学网站上看到一段对InteractiveSession()的描述语: One major change is the use of转载 2017-08-08 21:01:28 · 572 阅读 · 0 评论