深度学习
文章平均质量分 69
山上有只羊M
这个作者很懒,什么都没留下…
展开
-
windows系统:anaconda下安装TensorFlow
Win10下用Anaconda安装TensorFlow https://blog.csdn.net/u010858605/article/details/64128466/Win10 TensorFlow(gpu)安装详解 https://blog.csdn.net/sb19931201/article/details/53648615【TensorFlow】Windows10 64 位下...原创 2018-07-05 16:05:38 · 569 阅读 · 0 评论 -
数据预处理:归一化/标准化/中心化
为什么归一化/标准化?归一化/标准化实质是一种线性变换,线性变换有很多良好的性质,这些性质决定了对数据改变后不会造成“失效”,反而能提高数据的表现,这些性质是归一化/标准化的前提。比如有一个很重要的性质:线性变换不会改变原始数据的数值排序。使用的场景梯度下降法求解最优化问题时:可以加快求解速度,也就是提升收敛速度归一化/标准化的方法归一化到0 ~ 1 或 -1 ~ 1之间方法:...原创 2018-12-21 17:28:26 · 523 阅读 · 0 评论 -
torchnet tnt.Meter
原文档:https://github.com/torchnet/torchnetimport torchnettnt.MeterMeters provide a standardized way to measure a range of different measures, which makes it easy to measure a wide range of properties...原创 2018-12-10 18:48:49 · 1984 阅读 · 0 评论 -
深度学习:混淆矩阵,准确率,top1,top5,每一类的准确率
几个概念1)正确率(accuracy)正确率是我们最常见的评价指标,accuracy = (TP+TN)/(P+N),这个很容易理解,就是被分对的样本数除以所有的样本数,通常来说,正确率越高,分类器越好;2)错误率(error rate)错误率则与正确率相反,描述被分类器错分的比例,error rate = (FP+FN)/(P+N),对某一个实例来说,分对与分错是互斥事件,所以a...原创 2018-12-10 17:10:29 · 47583 阅读 · 3 评论 -
tensorflow 语法
获取变量的大小 tf.shape()和x.get_shape().as_list()1 tf.shape()tf.shape()很显然这个是获取张量(tensor和ndarray都可以用)的大小的import tensorflow as tf import numpy as np a_array=np.array([[1,2,3],[4,5,6]])b_list=[[1,2,3],...原创 2018-12-14 10:56:52 · 296 阅读 · 0 评论 -
深度学习调参:优化算法,优化器optimizer,学习率learning rate
学习率有什么用学习率是深度学习中的一个重要的超参,如何调整学习率是训练出好模型的关键要素之一。学习率决定了每步权重更新对当前权重的改变程度:其中E(w)为我们优化的损失函数,η是学习率。大小的对训练网络的影响学习率太小,更新速度慢;学习率过大,可能跨过最优解。因此,在刚开始训练,距离最优解较远时可以采用稍大的学习率,随着迭代次数增加,在逼近最优解的过程中,逐渐减小学习率。太大容易出...转载 2018-12-06 20:59:06 · 7697 阅读 · 0 评论 -
深度学习中训练集(train set),验证集(validation set)和测试集(test set)
在有监督(supervise)的机器学习中,数据集常被分成2~3个,即:训练集(train set) 验证集(validation set) 测试集(test set)。训练样本和测试样本训练样本的目的是 数学模型的参数,经过训练之后,可以认为你的模型系统确立了下来。一般训练样本和测试样本相互独立,使用不同的数据。training set是用来训练模型或确定模型参数的,如ANN中权值等;...转载 2018-12-06 20:43:37 · 10685 阅读 · 1 评论 -
深度学习中Dropout的作用和原理
理解dropoutdropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故而每一个mini-batch都在训练不同的网络。dropout是CNN中防止过拟合提高效果的一个大杀器,但对于其为何有效,却众说纷纭。在下读到两篇代表性的论文,代表两种不同的观点,特此分享给大家。1 组合派参考文献中第一篇...转载 2018-12-06 10:57:08 · 16282 阅读 · 2 评论 -
pytorch入门学习:torchvision.transforms
torchvision.transforms是pytorch中的图像预处理包一般用Compose把多个步骤整合到一起:transforms.Compose([transforms.CenterCrop(10),transforms.ToTensor(),])这样就把两个步骤整合到一起接下来介绍transforms中的函数:Resize:把给定的图片resize到give...原创 2018-11-07 10:30:15 · 530 阅读 · 0 评论 -
PyTorch入门学习:torch.utils.data.DataLoader
PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader。只要是用PyTorch来训练模型基本都会用到该接口,该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch size封装成Tensor,后续只需要再包装成Variable即可作为模型的输入,因此该接口有点承上启下的作用,比较重要。__init__中的几个重...原创 2018-11-07 10:09:23 · 5747 阅读 · 4 评论 -
pytorch入门学习:训练一个图像分类器
将做一下工作:采用torchvision来下载CIFAR10的训练和测试集定义一个卷积神经网络定义损失函数采用训练集来训练网络采用测试集原创 2018-11-06 18:02:23 · 1501 阅读 · 2 评论 -
pytorch入门学习:神经网络
定义网络继承torch.nn的nn.Module我们要做的就是定义forward前向传播函数。import torchimport torch.nn as nnimport torch.nn.functional as Fclass Net(nn.Module): def __init__(self): super(Net, self).__init__()...原创 2018-11-06 16:18:27 · 588 阅读 · 0 评论 -
深度学习:神经网络介绍和numpy实现简易代码
神经网络研究者们也会使用人工神经网络(Artificial Neural Networks 缩写ANN)或者多层感知器(Multi-Layer Perceptrons 缩写MLP)来指代神经网络。神经网络结构。左边是一个2层神经网络,隐层由4个神经元(也可称为单元(unit))组成,输出层由2个神经元组成,输入层是3个神经元。右边是一个3层神经网络,两个含4个神经元的隐层。注意:层...原创 2018-11-01 11:45:45 · 919 阅读 · 0 评论 -
深度学习中一些参数的调整
学习率learning_ratex += - learning_rate * dx其中x表示权重参数,dx表示梯度。可以看出,学习率影响了每次参数更新值的大小。调整方法: 使用一个固定的学习率来进行训练的同时观察验证集准确率,每当验证集准确率停止上升,就乘以一个常数(比如0.5)来降低学习率。一般初始可以设为0.1。接下来一起介绍几个参数的概念:epoch表示跑完全部...原创 2018-06-27 10:11:08 · 2470 阅读 · 0 评论 -
机器学习中ground truth的解释
作者:lee philip链接:https://www.zhihu.com/question/22464082/answer/21443035来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。机器学习包括有监督学习(supervised learning),无监督学习(unsupervised learning),和半监督学习(semi-supervised l...原创 2018-10-15 16:36:28 · 1138 阅读 · 0 评论 -
pytorch入门学习:加载模型(torchvision.models)
前言PyTorch框架中有一个非常重要且好用的包:torchvision,该包主要由3个子包组成,分别是:torchvision.datasets、torchvision.models、torchvision.transforms。这3个子包的具体介绍可以参考官网:http://pytorch.org/docs/master/torchvision/index.html。具体代码可以参考gith...原创 2018-10-18 11:23:02 · 25764 阅读 · 1 评论 -
pytorch学习入门:什么是pytorch+安装
0 安装步骤1:输入下面地址:https://pytorch.org/get-started/locally/步骤2:选择自己想要的版本:(pytorch build一般选择stable)(选择自己的系统)(选择用什么方式来下载:如果安装了anaconda,可以选择conda;一般选择pip) 注:不知为何原因,我用conda安装失败,在pip安装成功步骤3:run the c...原创 2018-10-15 16:29:22 · 3202 阅读 · 0 评论 -
【算法】门控线性单元 GLU(Gated Linear Units)
https://blog.csdn.net/liuchonge/article/details/70238350门控线性单元Gated linear units是在Language model with gated convolutional network中提出的。首先我们可以通过堆叠CNN来标识长文本,提取更高层、更抽象的特征,而且相比LSTM而言,我们需要的op更少(CNN需要O(N/k...转载 2019-03-06 15:28:46 · 9249 阅读 · 0 评论