深度学习
文章平均质量分 55
googler_offer
这个作者很懒,什么都没留下…
展开
-
深度学习(一)卷积神经网络
卷积神经网络好久没写东西了,惭愧。。。。 声明:此文只是作者作为搬运工从别的博客进行复制,以变自己留做学习。如有错误恳请纠正在切入卷积神经网络之前我们首先得明白这几个东西:卷积,bp神经网络,池化,卷积神经网络结构。以及最后的代码实现,和作者网上抄的几个例子。卷积看似比较奥秘的东西,其实就是图像矩阵与卷积核对应值相乘,然后再将其值进行求和。 3 * 3 的像素区域R与卷积核G的卷积运算:R原创 2017-07-23 11:44:49 · 2451 阅读 · 0 评论 -
keras搬砖系列-分类
分类讲到过关于分类,这里就当复习一下。大概结构是两层,两个全连接层。这样正确率很低,不过也在我的意料之中。2333数据集这里用到的是mnist。数据集导入(X_train,Y_train),(X_test,Y_test) = mnist.load_data()X_train = X_train.reshape(X_train.shape[0],-1)/255X_test =原创 2017-12-06 02:35:00 · 292 阅读 · 0 评论 -
深度学习系列-交叉熵代价函数
交叉熵代价函数基本完成了些许期末考试,特意来补一些softmax,因为涉及到损失函数。损失函数一般分为mse,与交叉熵,对于softmax来说损失函数一般采用交叉熵。今天补一下交叉熵的概念。 交叉熵 熵的概念:熵的本质是香农信息量log1plog\frac{1}{p} 现有关于样本集的2个概率分布p和q,其中p为真实分布,q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(原创 2017-12-30 22:48:49 · 909 阅读 · 0 评论 -
深度学习-softmax损失函数
softmax损失函数softmax函数定义 softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而进行多分类! softmax计算公式,假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的softmax值为: Si=ei∑jejS_i = \frac{e^i}{\sum_j e^j} 对于softmax定义比较简单,当我们在应用多原创 2018-01-21 16:26:46 · 13054 阅读 · 1 评论 -
搬砖系列-空洞卷积
搬砖系列-空洞卷积空洞卷积(dilated convolution)从标准的convolution map中注入许多空洞,来增加感受野。相比较原来的convolution 空洞卷积多了一个空洞参数,来代替每个卷积核的间隔数量。标准的卷积空洞卷积在Deep CNN中有一些致命缺陷,比较著名的是上采样和pooling,会导致内部数据结构丢失;空间级化信息丢失。小物体信息无法重建。空洞卷积能够有效的避免...转载 2018-06-11 02:34:27 · 2067 阅读 · 0 评论 -
PaperNote-Fast and Accurate Single Image Super-Resolution via Information Distillation Network
PaperNote-Fast and Accurate Single Image Super-Resolution via Information Distillation Network论文地址:https://arxiv.org/pdf/1803.09454.pdf代码地址:https://github.com/Zheng222/IDN-Caffe论文主要提出了IDN网络(Informatio...原创 2018-06-11 03:00:56 · 1871 阅读 · 1 评论 -
Paper notes-Residual Dense Network for Image Super-Resolution
Paper notes-Residual Dense Network for Image Super-Resolution论文地址:https://arxiv.org/pdf/1802.08797.pdf代码地址:https://github.com/yulunzhang/RDN/tree/master/RDN_TrainCode作者提出了一个RDN(Residual Dense Network)...原创 2018-06-11 03:23:53 · 1487 阅读 · 0 评论 -
意淫系列-投稿
中会议是不可能的,这辈子都是不可能的。CV类会议的录用率:http://www.cnblogs.com/yymn/p/9255505.html原创 2018-07-04 17:16:51 · 2300 阅读 · 0 评论 -
keras搬砖系列-keras保存最好的模型
keras搬砖系列-keras保存最好的模型keras.callbacks是一个好东西。keras.callbacks在model.fit中发挥的作用为:from keras.callbacks import Tensorboard......tensorboard = Tensorboard(log_dir='log(就是你想存事件的文件夹)')callback_lists = [tens...转载 2018-07-04 17:51:49 · 5959 阅读 · 0 评论 -
深度学习-池化层反向传播
目录池化层操作的反向梯度传播1, mean pooling2,max pooling3,ncnn代码池化层操作的反向梯度传播CNN网络中另外一个不可导的环节就是Pooling池化操作,因为Pooling操作使得feature map的尺寸变化,假设做2*2的池化,假设那么低L+1层的feature map有16个梯度,那么第L层就会有64个梯度,这使得梯度无法对位的进行传播...原创 2018-07-25 19:21:42 · 1876 阅读 · 0 评论 -
工程系-gwenview
sudo apt-get install gwenviewsudo apt-get install kio kinit kdelibs-bin kded5安装的时候,无法成功list all files,需要运行第二条指令。原创 2019-01-21 18:54:59 · 152 阅读 · 0 评论 -
工程系-python实现不同层级目录import模块的方法
一 同级目录下的调用-- src |-- mod1.py |-- test1.py若在程序test1.py中导入模块model,则直接使用:import model或 from model import *二 调用子目录下的模块-- src |-- mod1.py |-- lib | |-- mod2.py |-- test1....原创 2019-02-19 09:36:02 · 267 阅读 · 0 评论 -
keras搬砖系列-线性回归
线性回归线性回归可以用sklearn来进行实现,实现方法很多。今天是看的莫烦的视频然后来敲一波,莫烦视频讲得不错,我觉得总结的很完美,需要有些微基础的人去看才能加深吧。说到keras框架,最近在做实验,发现还是需要多用吧,活学活用,最近框架很多,所以有时候需要用到的东西也很多。最好能融会贯通。。。好难。主题:创建数据X = np.linspace(-1,1,200)np.ra原创 2017-12-06 01:48:06 · 1034 阅读 · 0 评论 -
keras 搬砖系列-自编码器
自编码器(AutoEncoder)本文大致分为理论介绍、公式推导,代码实现这几个部分。自编码器与PCA算法类似,是数据的一种降维。它将数据从f(x)变为g(x'),编码过程就是一个维度降低的过程。所以我们通常利用自编码器的前半部分来作为特征提取。自编码器:一、压缩:将图片用几个神经元点表现出来二、解压:将压缩后的图片解压出来几种自编码器:自编码器是神经网络的一种,经过训原创 2017-12-05 15:56:52 · 1190 阅读 · 0 评论 -
全连接层
线程池,简单来说就是有一堆已经创建好的线程(最大数目一定),初始时他们都处于空闲状态,当有新的任务进来,从线程池中取出一个空闲的线程处理任务,然后当任务处理完成之后,该线程被重新放回到线程池中,供其他的任务使用,当线程池中的线程都在处理任务时,就没有空闲线程供使用,此时,若有新的任务产生,只能等待线程池中有线程结束任务空闲才能执行,下面是线程池的工作原理图: 我们为什么要使用线程池呢?简单来说就是原创 2017-08-17 17:13:24 · 1532 阅读 · 0 评论 -
卷积层
卷积神经网络是在BP神经网络的改进,与BP类似,都采用了前向传播计算输出值,反向传播调整权重和偏置;CNN与标准的BP最大的不同是:CNN中相邻层之间的神经单元并不是全连接,而是部分连接,也就是某个神经单元的感知区域来自于上层的部分神经单元,而不是像BP那样与所有的神经单元相连接。CNN的有三个重要的思想架构:局部区域感知权重共享空间或时间上的采样公式参考《Notes on Con转载 2017-08-17 17:26:59 · 1084 阅读 · 0 评论 -
池化层
池化层:而池化层往往在卷积层后面,通过池化来降低卷积层输出的特征向量,同时改善结果(不易出现过拟合)。 原因:因为图像具有一种“静态性”的属性,这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此,为了描述大的图像,一个很自然的想法就是对不同位置的特征进行聚合统计,例如,人们可以计算图像一个区域上的某个特定特征的平均值 (或最大值)来代表这个区域的特征。 池化方法: 一般池化原创 2017-08-17 17:39:14 · 3182 阅读 · 0 评论 -
循环层
循环层:在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如,你要预测句子的下一个单词是什么,一般需要用到前面的单词,因为一个句子中前后单词并不是独立的。RNN(Recurrent Neuron Network)是一种对序列数据建模的神经网络,即一个序列当前的输出与前面的输出也有关。具体的表现形式为网原创 2017-08-17 17:43:27 · 1291 阅读 · 0 评论 -
损失函数
失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。损失函数是经验风险函数的核心部分,也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项,通常可以表示成如下式子: θ∗=argminθ1N∑i=1NL(yi,f(xi;θ)+λ Φ(θ)\thet原创 2017-08-17 17:51:31 · 661 阅读 · 0 评论 -
keras入门(一)
win7 系统环境安装步骤:1.首先是安装Python,建议安装anaconda 2.安装完anaconda后打开anaconda promp命令行promp,输入conda list. 可以看到已经安装的库以及版本等信息,注意此时没有keras. 3.通过 conda install keras 或 pip install keras 直接安装。(会默认的给你安装keras最新版本和所需要原创 2017-08-20 10:41:20 · 388 阅读 · 0 评论 -
xgboost安装
据说很好用,but貌似目前版本都不大支持window(1)首先配置好python环境,这个不多说了。(2)下载xgboost代码(截止到2016年3月29号,新版本的xgboost代码还不支持windows,以下讲解的是旧版本的xgboost,如果有人想要旧版本的,我已经上传到我的资源上了,网址如下:http://download.csdn.net/detail/zhuqiuh原创 2017-08-13 16:55:17 · 345 阅读 · 0 评论 -
激活函数
激活函数的作用在神经网络中,激活函数的作用是能够给神经网络加入一些非线性因素,使得神经网络可以更好地解决较为复杂的问题,能够把输入的特征保留并映射下来。 激活函数(Activation Function)的特点:非线性: 当激活函数是线性的时候,一个两层的神经网络就可以逼近基本上所有的函数了。可微: 当优化方法是基于梯度的时候,这个性质是必须的。单调性: 当激活函数是单调的时候,单层网络能够原创 2017-08-15 11:32:26 · 827 阅读 · 0 评论 -
dropout
dropout前言 训练神经网络模型时,如果训练样本较少,为了防止模型过拟合,Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的,源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为:通过阻止特征检测器的共同作用来提高神经网络的性能。本篇原创 2017-08-15 11:48:12 · 290 阅读 · 0 评论 -
深度学习-有意义的demo
ryankiros/neural-storyteller · GitHub: 看图讲故事karpathy/neuraltalk2 · GitHub:看图生成标注jcjohnson/neural-style · GitHub:将照片变成大师风格的绘画Newmu/dcgan_code · GitHub: 卷积生成式对抗网络,生成图像nagadomi/waifu2x · GitHub原创 2017-10-13 23:02:34 · 1367 阅读 · 0 评论 -
TensorFlow GPU安装
一、先装 anaconda采用清华镜像,自己选择版本,不过2.x没有mingw编译器,选择3.x的吧https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/二、下载cudncudn得去官网了,,,然后下载一个exe的压缩包。貌似我直接从我另一台pc拷贝的已经安装的安装包也可以。。会在你安装的那个盘有,这是默认的C:\Pro原创 2017-11-03 11:04:13 · 297 阅读 · 0 评论 -
论文文献整理【持续更新】
转载:文献分类经典模型 目标检测相关 文字检测与识别细分 链接下载 经典模型: AlexNet:AlexNet——【NIPS2012】 Imagenet classification with deep convolutional neural networks GoogleNet:GoogleNet——【CVPR2015】Going Deeper ...转载 2019-03-11 10:01:16 · 319 阅读 · 0 评论