深度学习
文章平均质量分 96
山水之间2018
山水之间落花雨,悲欢之外快活人
展开
-
MobileNet,从V1到V3
参考文献:1.https://zhuanlan.zhihu.com/p/70703846原创 2019-10-29 14:03:39 · 720 阅读 · 1 评论 -
Pytorch 快速入门(三)关系拟合
本节讨论神经网络是如何在数据当中找到他们的关系, 然后用神经网络模型来建立一个可以代表他们关系的线条.torch版实现.建立数据集我们创建一些假数据来模拟真实的情况. 比如一个一元二次函数: y = a * x^2 + b, 我们给 y 数据加上一点噪声来更加真实的展示它.建立神经网络 建立一个神经网络我们可以直接运用 torch 中的体系. 先定义所有的层属性(__init__()), 然后再一...原创 2018-05-27 22:08:34 · 980 阅读 · 0 评论 -
《Enhanced Deep Residual Networks for Single Image Super-Resolution》论文阅读之EDSR
导读 韩国首尔大学的研究团队提出用于图像超分辨率任务的新方法,分别是增强深度超分辨率网络 EDSR 和一种新的多尺度深度超分辨率 MDSR,在减小模型大小的同时实现了比当前其他方法更好的性能,分别赢得NTIRE2017超分辨率挑战赛的第一名和第二名。论文阅读点击这里EDSR文章翻译来自:https://mp.weixin.qq.com/s/xpvGz1HVo9eLNDMv9v7vqghttp...原创 2018-05-25 16:01:57 · 18025 阅读 · 4 评论 -
tensorflow实现DCGAN
1、DCGAN的简单总结【Paper】 : http://arxiv.org/abs/1511.06434【github】 : https://github.com/Newmu/dcgan_code theano https://github.com/carpedm20/DCGAN-tensorflow tensorflow ...原创 2018-04-24 17:40:40 · 3956 阅读 · 13 评论 -
基于SRGAN实现图像超分辨率重建或复原
超分辨率技术(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在监控设备、卫星图像和医学影像等领域都有重要的应用价值。SR可分为两类:从多张低分辨率图像重建出高分辨率图像和从单张低分辨率图像重建出高分辨率图像。基于深度学习的SR,主要是基于单张低分辨率的重建方法,即Single Image Super-Resolution (SISR)...原创 2018-04-20 11:50:26 · 30334 阅读 · 19 评论 -
无约束条件GAN出人脸
接触到GAN后简直一发不可收拾, 这个领域发展太快,日新月异,各种 GAN 层出不穷,这里介绍一篇关于 Wasserstein GAN 的文章,讲的很好,在此把它分享出来一起学习:https://zhuanlan.zhihu.com/p/25071913。关于WGAN,我后续会进行更新,本篇玩到人脸生成依然采用经典的DCGAN,所以,我们接下来继续来研究我们的无约束条件 DCGAN。前几天,我们用...原创 2018-04-13 18:37:04 · 1101 阅读 · 1 评论 -
《Wasserstein GAN》继续 GAN
自从2014年Ian Goodfellow提出以来,GAN就存在着训练困难、生成器和判别器的loss无法指示训练进程、生成样本缺乏多样性等问题。从那时起,很多论文都在尝试解决,但是效果不尽人意,比如最有名的一个改进DCGAN依靠的是对判别器和生成器的架构进行实验枚举,最终找到一组比较好的网络架构设置,但是实际上是治标不治本,没有彻底解决问题。而今天的主角Wasserstein GAN(下面简称WG...转载 2018-04-12 15:38:52 · 944 阅读 · 0 评论 -
《Generative Adversarial Nets in TensorFlow》tensorflow实现最简单的GAN
1.GAN基本思想生成式对抗网络GAN (Generative adversarial networks) 是Goodfellow 等在2014 年提出的一种生成式模型。GAN 的核心思想来源于博弈论的纳什均衡。它设定参与游戏双方分别为一个生成器(Generator)和一个判别器(Discriminator), 生成器捕捉真实数据样本的潜在分布, 并生成新的数据样本; 判别器是一个二分类器, 判别...原创 2018-04-12 11:49:25 · 442 阅读 · 0 评论 -
使用GAN生成mnist(二)
前面我们了解了 GAN 的原理,下面我们就来用 TensorFlow 搭建 GAN(严格说来是 DCGAN,如无特别说明,本系列文章所说的 GAN 均指 DCGAN),如前面所说,GAN 分为有约束条件的 GAN,和不加约束条件的GAN,我们先来搭建一个简单的 MNIST 数据集上加约束条件的 GAN。首先数据集使用的是著名的MNIST,每一张图片的大小为[28, 28, 1],训练集有60000...原创 2018-04-11 18:13:43 · 2106 阅读 · 1 评论 -
使用GAN生成mnist(一)
GAN简介自从 Ian Goodfellow 在 14 年发表了 论文 Generative Adversarial Nets 以来,生成式对抗网络 GAN 广受关注,加上学界大牛 Yann Lecun 在 Quora 答题时曾说,他最激动的深度学习进展是生成式对抗网络,使得 GAN 成为近年来在机器学习领域的新宠,可以说,研究机器学习的人,不懂 GAN,简直都不好意思出门。1、GAN的思想 ...原创 2018-04-11 16:46:28 · 3956 阅读 · 1 评论 -
《AlignedReID: Surpassing Human-Level Performance in Person Re-Identification》论文解读
1. an implicit alignment of local features can substantially improve global feature learning. 2.“The end-to-end learning with structure prior is more powerful than a “blindThe end-to-end learning with...原创 2018-05-16 11:21:04 · 2106 阅读 · 0 评论 -
Person ReID最新论文推荐
1. Multi-pseudo Regularized Label for Generated Samples in Person Re-Identification(行人重识别:基于多伪正则化标签的样本生成方法)期刊:arXiv, 2018年1月29日网址:http://www.zhuanzhi.ai/document/735fe58ab843f2fb02adb71bd0dcbbb72. Ali...原创 2018-05-19 11:50:18 · 2973 阅读 · 0 评论 -
20181008
20190926通用数据集合集20190505上海交大卢策吾团队实时多人姿态估计系统升级,挑战拥挤人群场景如何看待上交大卢策吾团队最新开源的 AlphaPose?六种人体姿态估计的深度学习模型和代码总结Human Pose Estimation人体姿态估计综述调研姿态估计 最佳实践最精准!上海交大开源姿态估计和跟踪系统 AlphaPose201...原创 2018-10-08 14:36:14 · 230 阅读 · 0 评论 -
阶段小结2022
1.L0、L1、L2正则化?L0范数:计算向量中非0元素的个数。L1范数:计算向量中各元素绝对值之和。L2范数:计算向量中各元素平方和的开方。L0范数和L1范数目的是使参数稀疏化。L1范数比L0范数容易优化求解。L2范数是防止过拟合,提高模型的泛化性能。2.无监督学习方法有哪些?强化学习、K-means 聚类、自编码、受限波尔兹曼机3. 空洞卷积(dilated ...原创 2019-04-01 10:13:47 · 11283 阅读 · 1 评论 -
Deep Learning Papers Translation(CV)
深度学习论文翻译,包括分类论文,检测论文等翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers-translation 内容列表Image Classification AlexNetImageNet Classification with Deep Convolutional Neural Networks 中文版...翻译 2018-10-13 15:43:22 · 380 阅读 · 0 评论 -
Keras中部分重要函数介绍
Keras中文文档:http://keras-cn.readthedocs.io/en/latest/getting_started/sequential_model/导入包:from keras.models import Sequentialfrom keras.layers import Dense, Dropout, Activation, Flattenfrom keras...原创 2018-07-19 11:10:27 · 1230 阅读 · 0 评论 -
车牌识别系列(二)生成具有真实感的(realistic)车牌数据
接上篇车牌识别系列,Tensorflow生成车牌数据(一),实际上上篇生成的数据仅仅是一个字符串序列,加上对应的label,使用Pygame或者其他库生成图片后,并不具备真实感觉的车牌。考虑到实际车牌拍照出来的效果,我们必须添加些环境噪声,模糊处理,畸变等,让最终生成的车牌看起来更加接近真实图片拍下来的效果。并且加入背景图片,生成车牌字符串list和label,存为图片格式,批量生成。先来看看效果...原创 2018-06-29 09:48:27 · 6703 阅读 · 23 评论 -
CycleGAN与pix2pix不得不玩的模型
CycleGAN是在去年三月底放在arxiv的一篇文章,文章名为Learning to Discover Cross-Domain Relations with Generative Adversarial Networks,同一时期还有两篇非常类似的 DualGAN 和 DiscoGAN ,简单来说,它们的功能就是:自动将某一类图片转换成另外一类图片。由于CycleGAN这个框架具有较强的通用性...原创 2018-06-05 19:49:01 · 16158 阅读 · 15 评论 -
Pytorch 快速入门(六)MNIST 手写数字识别之CNN
接触过深度学习的朋友对MNIST数据集肯定不陌生。基本上算是玩神经网络里的“hello,world!”本节基于MNIST数据集,实现CNN学习过程。下面是一个 CNN 最后一层的学习过程, 我们先可视化看看:MNIST手写数据 首先是数据集下载,为了看看数据集里究竟是长什么样子的,我也作了展示:# library# standard libraryimport os# third-part...原创 2018-05-29 14:43:14 · 9555 阅读 · 6 评论 -
tensorflow实现人脸检测及识别(简单版)
本教程主要是对人脸检测及识别python实现系列 及碉堡了!程序员用深度学习写了个老板探测器(付源码) 的实现。主要实现的功能是用网络摄像头自动识别在工位通道走过的人脸,如果确认是老板的话,就用一张图片覆盖到整个屏幕上。虽然原教程已经写的很好,但是我们在实现的时候仍然踩了很多坑。本着让后来者少走点弯路的原则,我们特将最详细的步骤记录如下,以期读者朋友只花最少的时间便能体验用tensorflow实现...转载 2018-05-28 19:28:25 · 17684 阅读 · 5 评论 -
tensorflow GPU 使用配置
查看机器上GPU情况命令: nvidia-smi功能:显示机器上gpu的情况命令: nvidia-smi -l功能:定时更新显示机器上gpu的情况eg: nvidia-smi -l 10 # 10s刷新一次tf.ConfigProto()函数用在创建session的时候,用来对session进行参数配置:config = tf.ConfigProto(allow_soft_placement=Tr...原创 2018-06-04 14:32:31 · 2511 阅读 · 0 评论 -
论文阅读之《Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network》
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (arxiv, 21 Nov, 2016)这篇文章将对抗学习用于基于单幅图像的高分辨重建。基于深度学习的高分辨率图像重建已经取得了很好的效果,其方法是通过一系列低分辨率图像和与之对应的高分辨率图像作为训练数据,学习一个从低分辨率图...原创 2018-04-10 10:57:20 · 11188 阅读 · 1 评论 -
install caffe in macOS 10.13.2(CPU-Only)
Caffe是一个清晰而高效的深度学习框架,是纯粹的C++、CUDA架构,支持命令行,Python和MATLAB接口,可以在CPU和GPU直接无缝切换,Caffe的优势:上手快,模型和相应优化都是以文本形式而非代码形式给出,Caffe给出了模型的定义,最优化设置以及预训练的权重,方便立即上手。速度快,Caffe与cuDNN结合使用,能够运行最棒的模型和海量的数据。模块化,方便拓展新的认知和设置.开源...原创 2018-04-09 16:02:31 · 1528 阅读 · 0 评论 -
Tensorflow实现策略网络(深度强化学习一)
1.深度强化学习简介 强化学习(Reinforcement Learing)是机器学习的一个重要分支,主要用来解决连续决策的问题。强化学习可以在复杂的,不确定的环境中学习如何实现我们设定的目标。 一个强化学习问题包含三个主要概念,即环境状态(Environment State),行动(Action),奖励(Reward)。强化学习的目标就算获得最多的累计奖励。 回顾下,AutoE...原创 2018-02-28 15:53:30 · 3088 阅读 · 0 评论 -
Tensorflow实现 Bidirectional LSTM Classifier
1.双向递归神经网络双向递归神经网络(Bidirectional Recurrent Neural Networks, Bi-RNN),是由Schuster和Paliwal于1997年首次提出的,和LSTM是在同一年被提出的。Bi-RNN的主要目标是增加RNN可利用的信息。RNN无法利用某个历史输入的未来信息,Bi-RNN则正好相反,它可以同时使用时序数据中某个输入的历史及未来数据。 Bi-RNN...原创 2018-02-28 10:37:37 · 1258 阅读 · 0 评论 -
tensorflow实现验证码生成及识别(一)
验证码这个东西生活中太常见了,今天我们就来玩玩验证码的生成及识别。使用深度学习+训练数据+大量计算力,我们可以在几天内训练一个可以破解验证码的模型,当然前提是获得大量训练数据。 整个项目包含四部分,验证码生成,tfrecord文件生成,数据集训练,验证码识别测试。完整代码已开源到captcha识别,欢迎大家批评指正。首先我们需要用到一个库captcha,大家可以自行安装。命令是pip instal...原创 2018-02-11 17:08:25 · 4456 阅读 · 5 评论 -
Tensorflow之基于slim训练自己的模型
假如我们需要从头开始训练一个图像识别的模型,我们可以使用tensorflow构建自己的图片分类模型,并将图片转换成tfrecord格式的文件。tfrecord是tensorflow官方提供的一种文件类型。这里补充下,关于tensorflow读取数据,官网给出了三种方法:1、供给数据:在tensorflow程序运行的每一步,让python代码来供给数据2、从文件读取数据:建立输入管线从文件中...原创 2018-02-11 10:18:32 · 5731 阅读 · 22 评论 -
Tensorflow利用训练好的Inception模型进行图像识别分类
Inception是Google训练好的一个图像识别模型,我们可以利用它来对我们的图像进行识别。下载地址:https://storage.googleapis.com/download.tensorflow.org/models/inception_dec_2015.zip下载完解压后,得到几个文件:其中的classify_image_graph_def.pb 文件就是训练好的Inception-...原创 2018-03-07 09:22:48 · 9241 阅读 · 5 评论 -
Inception V3 可视化
Inception v3模型在一台配有 8 Tesla K40 GPUs,大概价值$30,000的野兽级计算机上训练了几个星期,因此不可能在一台普通的PC上训练。因此,我们将会下载预训练好的Inception模型,然后用它来做图像分类。Inception v3模型大约有2500万个参数,分类一张图像就用了50亿的乘加指令。在一台没有GPU的现代PC上,分类一张图像转眼就能完成。我们可以通过pyth...原创 2018-02-26 10:35:21 · 1085 阅读 · 0 评论 -
Tensorflow之构建自己的图像分类器
阅读本文时,假设你对inception有一定的了解。主要使用inception v3的模型,再后面接一个softmax,做一个分类器。具体代码都是参照tf github。 直接上干货。先简要描述下大致步骤,一句话来讲,将原先的softmax输出抛弃,自定义分类的种类,训练参数,得到自己的分类模型步骤一:数据准备,准备自己要分类的图片训练样本。项目下需要有以下文件夹:bottlene...原创 2018-02-10 15:41:22 · 4612 阅读 · 1 评论 -
tensorflow实现循环神经网络
循环神经网络出现于20世纪80年代,在其发展早期,应用部署特别丰富。最近几年由于神经网络结构的进步和GPU上深度学习训练效率的突破,RNN变得越来越流行。RNN对时间序列数据非常有效,其每个神经元可通过内部组件保存之前输入的信息。 人每次思考时不会重头开始,而是保留之前思考的一些结果为现在的决策提供支持。 下面我们将RNN用在手写数字识别上。# tensorflow 实...原创 2018-02-09 14:36:00 · 807 阅读 · 0 评论 -
神经网络之情感分析(一)
神经网络之情感分析本文主要是介绍了运用神经网络进行情感分类,来源于Udacity的深度学习基石,这是第二周的课程,原项目中是对英文进行了分类,我这边改为了中文。 首先是中文切词,使用的是结巴。import jiebaseg = '使用结巴来对中文进行分词'seg_list = jieba.cut(seg)print("/ ".join(seg_list))使用/ 结巴/ 来/ 对/ 中文/ ...原创 2018-03-15 10:52:15 · 4092 阅读 · 2 评论 -
Tensorflow实战之车牌识别(一)
早期使用Halcon做过车牌识别的小项目。今天一时兴起,作了部分整理。既然现在大家都在玩人工智能,那么我们不妨从简单的车牌识别来练练手。本系列文章将使用CNN+Tensorflow来进行车牌训练识别。本文则先展示车牌生成。 文章链接:https://www.toutiao.com/i6490140686917042701/ 卷积神经网络(下文用CNN代替,相信很多人是明白的)实...原创 2018-03-01 14:52:52 · 14806 阅读 · 13 评论 -
深度学习常识
1.overfitting :线性回归模型 拟合的函数和训练集的关系图片拟合的函数和训练集误差较大,我们称这种情况为 欠拟合图片拟合的函数和训练集误差较小,我们称这种情况为 合适拟合图片拟合的函数完美的匹配训练集数据,我们称这种情况为 过拟合拿到一个样本,特征非常多,而样例特别少,这样用回归去直接拟合非常困难,容易过度拟合。比如北京的房价:假设房子的特征是(大小、位置、朝向、是否学区房、建造年代、...原创 2018-03-16 11:19:10 · 2494 阅读 · 0 评论 -
机器学习常见问题解答
正则化正则化是针对过拟合而提出的,以为在求解模型最优的是一般优化最小的经验风险,现在在该经验风险上加入模型复杂度这一项(正则化项是模型参数向量的范数),并使用一个rate比率来权衡模型复杂度与以往经验风险的权重,如果模型复杂度越高,结构化的经验风险会越大,现在的目标就变为了结构经验风险的最优化,可以防止模型训练过度复杂,有效的降低过拟合的风险。奥卡姆剃刀原理,能够很好的解释已知数据并且十分简单才是...原创 2018-03-25 23:46:35 · 1502 阅读 · 0 评论 -
深度学习之Autoencoder (非监督学习)
Autoencoder 简单来说就是将有很多Feature的数据进行压缩,之后再进行解压的过程。 本质上来说,它也是一个对数据的非监督学习,如果大家知道 PCA (Principal component analysis), 与 Autoencoder 相类似,它的主要功能即对数据进行非监督学习,并将压缩之后得到的“特征值”,这一中间结果正类似于PCA的结果。 之后再将压缩过的“特征值”进行解压,...原创 2018-03-19 17:37:39 · 11125 阅读 · 2 评论 -
RNN LSTM Regression-- 回归例子可视化
本节我们会使用 RNN 来进行回归的训练 (Regression). 会继续使用到自己创建的 sin 曲线预测一条 cos 曲线. 我们先确定 RNN 的各种参数(super-parameters):import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltBATCH_START = 0 # 建立...原创 2018-03-19 15:31:27 · 9070 阅读 · 0 评论 -
Github项目管理
很早之前就注册了Github,但对其使用一直懵懵懂懂,很不熟练。直到昨天做完百度前端技术学院的task,想把代码托管到Github上的时候发现自己对于Git的操作是如此之愚钝,所以今天决定把Git好好学习一遍,好让自己以后能更好地使用Github,主要还是通过Git教程 - 廖雪峰的官方网站来学习。简要步骤可以直接看最后的总结。 Git的安装就不说了。我们在GitHub服务器上有一个主......原创 2018-03-12 17:09:17 · 957 阅读 · 0 评论 -
tensorflow实现验证码生成及识别(三)
接上篇tensorflow实现验证码生成及识别(二)本篇我们将利用测试集进行预测。不好意思,来的有点晚,最近沉迷于GAN,今天才想起来验证码还没完结,索性补上。测试代码和训练代码比较类似,首先要将训练集文件改为测试集文件TFRECORD_FILE = 'E:/SVN/Gavin/Learn/Python/pygame/captcha/test.tfrecords'依然使用alexnet_v...原创 2018-04-21 11:21:38 · 2636 阅读 · 5 评论 -
tensorflow实现验证码生成及识别(二)
最近比较忙,之前一些博客没来得及完善,今天难得有时间,索性整理下之前的内容,让大家有个更加完整的学习过程。 如题,本篇介绍的是tensorflow实现验证码的识别,之前我们已经生成了数据集,并且转换成了tfrecord格式的文件,现在我们开始利用这个文件来进行训练及识别。 完整代码已开源到captcha识别 补充一点,我们可以有两种方法进行验证码识别,其一,把标签转为向量,向量...原创 2018-03-12 15:24:55 · 2836 阅读 · 18 评论