![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 92
chaowu1993
个人学习笔记,欢迎大家交流。
展开
-
LSTM理解
LSTM理解RNN结构:激活函数 Tanh 作用在于帮助调节流经网络的值,使得数值始终限制在 -1 和 1 之间。LSTMLSTM同样是这样的结构,但是重复的模块拥有一个不同的结构。具体来说,RNN是重复单一的神经网络层,LSTM中的重复模块则包含四个交互的层,三个Sigmoid 和一个tanh层,并以一种非常特殊的方式进行交互。上图中,σ表示的Sigmoid 激活函数与 tanh...原创 2019-09-17 23:10:20 · 2967 阅读 · 1 评论 -
为什么交叉熵可以做损失函数?
交叉熵:一句介绍:相对熵(KL散度)是衡量两个概率分布之间的距离,等于交叉熵加上个熵,在一定条件下熵值是固定的数值,所以交叉熵可以看做等于相对熵.说交叉熵之前先介绍相对熵,相对熵又称为KL散度(Kullback-Leibler Divergence),用来衡量两个分布之间的距离,记为这里H§是p的熵。假设有两个分布p和q,它们在给定样本集上的交叉熵定义为:从这里可以看出,交叉熵和相对...原创 2019-01-12 22:00:03 · 1513 阅读 · 1 评论 -
kaggle api下载数据集
1.windows下打开终端(win+R输入cmd)安装kaggle.(pip install kaggle)2.在kaggle官网找到一个比赛。例如CTR的kaggle比赛。接受Rules,根据提示进行一些身份认证的操作。(不然下载的时候会403 401之类的问题)3.点击图像选择My Account,在API一栏选择Create New API Token.4.点击后会在电脑的自...原创 2019-01-05 23:27:35 · 6249 阅读 · 4 评论 -
Ubuntu系统中各文件夹的作用
/根目录包含了几乎所的文件目录。相当于中央系统。进入的最简单方法是:cd /。/boot引导程序,内核等存放的目录这个目录,包括了在引导过程中所必需的文件。在最开始的启动阶段,通过引导程序将内核加载到内存,完成内核的启动(这个时候,虚拟文件系统还不存在,加载的内核虽然是从硬盘读取的,但是没经过Linux的虚拟文件系统,这是比较底层的东西来实现的。然后内核自己创建好虚拟文件系统,并且从虚拟...原创 2018-10-29 02:57:11 · 900 阅读 · 0 评论 -
[深度学习]梯度迷失和梯度爆炸
那么为什么会出现梯度消失的现象呢?因为通常神经网络所用的激活函数是sigmoid函数,这个函数有个特点,就是能将负无穷到正无穷的数映射到0和1之间,并且对这个函数求导的结果是f′(x)=f(x)(1−f(x))。因此两个0到1之间的数相乘,得到的结果就会变得很小了。神经网络的反向传播是逐层对函数偏导相乘,因此当神经网络层数非常深的时候,最后一层产生的偏差就因为乘了很多的小于1的数而越来越小,最终...原创 2018-10-29 02:51:53 · 269 阅读 · 0 评论 -
Ubuntu16.04安装tensorflow-GPU
先安装好anaconda:在清华镜像下载想要的版本的安装包https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/解压后执行安装:bash Anaconda2-xxx-Linux-x86_64.shyessource ~/.bashrc版本对应:CUDA — cuDNN ---- — tf版本8.0 ----...原创 2018-10-29 02:47:06 · 149 阅读 · 0 评论 -
[深度学习]tensorflow中flags的使用(代码)
import tensorflow as tf#第一个是参数名称,第二个参数是默认值,第三个是参数描述tf.app.flags.DEFINE_string('str_name', 'wuhcao', 'example1')tf.app.flags.DEFINE_integer('int_name', 100, 'example2')tf.app.flags.DEFINE_boolean...原创 2018-10-25 17:54:46 · 368 阅读 · 0 评论 -
[深度学习]inception_v3识别任何图片(代码)
运用已经在imagenet上训练的inception_v3网络,识别各种图片:1. 在网上下载Inception_v3的训练模型,解压后会得到如下文件(需要的可以私信我):其中第一个第二个是imagenet中数字标号和英文label的文件:第三个是该模型结构的带权重的Graph.2.运用下面的代码可以生成一个tfevents文件,然后用tensorboard查看他的网络结构.imp...原创 2018-10-25 17:47:41 · 2494 阅读 · 1 评论 -
[深度学习]验证码识别(代码)
整体流程:利用captcha随机生成四位0-9数字的验证码图片.总共生成10000张,因为随机生成过程会有重复最后只有6370张,其中5870张作为训练集,500张作为测试集.把生成好的图片转换成tfrecord的格式保存.这个项目是把四个数字作为四个预测去检测,利用slim,修改Alexnet网络结构在后面接四个分类输出.在上一步中生成tfrecord的时候也是把4个label转换.读...原创 2018-10-25 17:29:21 · 19497 阅读 · 23 评论 -
[深度学习]CNN训练MNIST数据集及tensorboard详解
MNIST数据集:MNIST数据集包含6万训练图片和1万张测试图片.TensorFlow:简单CNN训练MNIST:import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets('MNIST_data', o...原创 2018-10-22 04:25:40 · 2477 阅读 · 0 评论 -
[机器学习]K-means原理与源码实现
K-means算法的主要思想就是以空间中的K个点为中心进行聚类,对最靠近它的对象进行归类。通过迭代的方法不断的更新各聚类中心的值,直到最好的聚类结果。主要步骤:在N个数据中,随机挑选K个数据(也就是最后聚类微K类)做为聚类的初始中心。分别计算每个数据点到这K个中心点的欧式距离,离哪个中心点最近就分配到哪个簇中。重新计算这K个簇数据的坐标均值,将新的均值作为聚类的中心。重复2和3步骤,...原创 2018-10-08 22:10:44 · 10157 阅读 · 8 评论 -
[深度学习] 物体检测之SSD详解
SSD结构图精华版本:SSD结构图详细版本:SSD采用了特征金字塔结构进行检测,即检测时利用了conv4_3,conv_7(FC7),conv6_2,conv7_2,conv8_2,conv9_2这些大小不同的feature maps,在多个feature maps上同时进行softmax分类和位置回归。SSD多尺度特征映射细节:SSD算法中使conv4_3,conv_7,conv...原创 2018-10-06 21:07:48 · 3356 阅读 · 2 评论