2018年06月_HawardScut

12月 11月 10月 09月 08月 07月 06月 05月 03月 01月

原创 Ubuntu 18.04上CUDA 9.0、cuDNN7.0的安装

1、安装显卡驱动首先删除旧的Nvidia驱动文件sudo apt-get purge nvidia-*加入PPA源sudo add-apt-repository ppa:graphics-drivers/ppa安装Nvidia驱动：找到自己显卡最新的一个版本后执行安装，比如1080ti当前最新版为nvidia-driver-396sudo apt-get ins...

2018-06-25 10:19:42 9260

原创在服务器上配置jupyter设置远程登录

1、生成配置文件（~/.jupyter/jupyter_notebook_config.py）jupyter notebook --generate-config2、生成密钥先进入python环境，执行 from notebook.auth import passwd passwd() 此时会让你两次输入密码（该密码作为客户端登录jupyter用），然后就会生成秘钥（秘钥作为...

2018-06-14 13:09:54 13319 1

原创（十二）长短期记忆（LSTM）

1、介绍长短期记忆修改了循环神经网络隐藏状态的计算方式，并引入了与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态）。2、具体的设计（1）输入门、遗忘门和输出门ItFtOt=σ(XtWxi+Ht−1Whi+bi),=σ(XtWxf+Ht−1Whf+bf),=σ(XtWxo+Ht−1Who+bo).It=σ(XtWxi+Ht−1Whi+bi),Ft=σ(XtW...

2018-06-09 18:55:19 1328

原创（十一）门控循环单元（GRU）

1、背景裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。门控循环神经网络（gated recurrent neural network）的提出，是为了更好地捕捉时间序列中时间步距离较大的依赖关系。其中，门控循环单元（gated recurrent unit，简称GRU）是一种常用的门控循环神经网络。（其他门控循环神经网络如：长短期记忆）2、相对RNN的改进入了门的概念，修改了循环...

2018-06-09 18:20:45 11269 1

1、介绍给定时间步ttt的小批量输入Xt∈Rn×xXt∈Rn×x\boldsymbol{X}_t \in \mathbb{R}^{n \times x}（样本数为n，输入个数为x），设该时间步隐藏状态为Ht∈Rn×hHt∈Rn×h\boldsymbol{H}_t \in \mathbb{R}^{n \times h}（隐藏单元个数为hhh），输出层变量为Ot∈Rn×yOt∈Rn×y\bolds...

2018-06-08 23:14:24 879

原创（六）PyTorch学习笔记——NLP实战

1、one-hot encoding用如下所示表示ww w 字符 [0,0,…,1,…,0,0]|V| elements[0,0,…,1,…,0,0]⏞|V| elements\overbrace{\left[ 0, 0, \dots, 1, \dots, 0, 0 \right]}^\text{|V| elements} 其中VV V 是我...

2018-06-08 14:57:20 5516 1

原创（五）PyTorch学习笔记——词袋模型

假设语料库data = [("me gusta comer en la cafeteria".split(), "SPANISH"), ("Give it to me".split(), "ENGLISH"), ("No creo que sea una buena idea".split(

2018-06-07 20:53:06 1371

原创（四）PyTorch学习笔记——PyTorch学习笔记——Torch张量库、Variable变量和自动求导

1、Torch张量库张量是一个可以被超过二维索引的矩阵的一般化，可以是n维，用法类似numpy2、Variable变量变量知道怎么创建的它们自己的过程，比Tensor多了grad_fn等额外的东西3、自动求导在任意变量上使用.backward()将会运行反向,从它开始。运行这个s.backward()很多次，将进行梯度的累积（这里x是关于s的变量，与具体值无关,求得x的梯度x....

2018-06-07 18:52:16 2571

原创（三）PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数

1、softmax函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组成是 exp(xi)∑jexp(xj)exp⁡(xi)∑jexp⁡(xj)\frac{\exp...

2018-06-07 13:14:14 137012 13

原创（二）PyTorch学习笔记——pytorch构造数据集

import torchimport torch.nn as nnfrom torch.autograd import Variablefrom torch.utils.data import Dataset, DataLoader# 参数和数据加载input_size = 5output_size = 2batch_size = 4 #批量大小data_size = 10...

2018-06-06 15:51:06 3810

原创（一）PyTorch学习笔记——pytorch图像处理（transforms）

1、原始图像2、图像处理、转不同格式显示import torchimport torchvisionimport torchvision.transforms as transformsimport cv2import numpy as npfrom PIL import Imageimg_path = "./data/timg.jpg" # transforms....

2018-06-06 12:43:01 41674 1

原创 ubuntu设置环境变量

1、查看环境变量有三个命令env env命令是environment的缩写，用于列出所有的环境变量export 单独使用export命令也可以像env列出所有的环境变量，不过export命令还有其他额外的功能echo $PATH echo $PATH用于列出变量PATH的值（查看其它变量VAR_NAME类似），里面包含了已添加的目录注：命名一个新的环境变量export VAR...

2018-06-05 12:57:44 7586

原创 linux常用命令

1、du和dfdu，disk usage,是通过搜索文件来计算每个文件的大小然后累加，du能看到的文件只是一些当前存在的，没有被删除的。他计算的大小就是当前他认为存在的所有文件大小的累加和。 df，disk free，通过文件系统来快速获取空间大小的信息，当我们删除一个文件的时候，这个文件不是马上就在文件系统当中消失了，而是暂时消失了，当所有程序都不用时，才会根据OS的规则释放掉已经删...

2018-06-05 11:53:11 194

原创 Linux虚拟机扩容与挂载

1、虚拟机设置硬件、拓展、写入扩展后的容量大小2、查看磁盘空间占用情况df -h 3、查看磁盘设备信息sudo fdisk -l（需要sudo）图中表示，只有一个硬盘sda，总大小为200G,sda1,sda2等是硬盘的分割使用情况（如果还有硬盘，显示sdb…）扩容表示增加硬盘sda的大小4、新增sda的分区sudo fdisk /dev/sda 输入...

2018-06-05 11:06:33 5933 1

原创（九）批量归一化

1、引入对输入数据做了归一化处理，就是将每个特征在所有样本上的值转归一化成均值0方差1。这样我们保证训练数据里数值都同样量级上，从而使得训练的时候数值更加稳定。对于浅层模型来说，通常数据归一化预处理足够有效。输出数值在只经过几个神经层后通常不会出现剧烈变化。但对于深层神经网络来说，情况一般比较复杂。因为每一层里都对输入乘以权重后得到输出。当很多层这样的相乘累计在一起时，一个输出数据较大的改变都...

2018-06-04 13:14:56 4692

原创（八）池化层

1、最大、平均池化层池化层直接计算窗口内元素的最大值或者平均值 2、多通道池化层的输出通道跟输入通道数相同3、填充和步幅同卷积层一样，池化层也可以填充输入高宽两侧的数据和调整窗口的移动步幅来改变输入大小，不过默认步幅大小等于滑动窗口大小...

2018-06-03 16:10:43 2555

原创（七）卷积层——填充和步幅

在高上使用步幅shshs_h，在宽上使用步幅swsws_w，那么输出大小将是 ⌊(nh−kh+ph+sh)/sh⌋×⌊(nw−kw+pw+sw)/sw⌋.⌊(nh−kh+ph+sh)/sh⌋×⌊(nw−kw+pw+sw)/sw⌋.\lfloor(n_h-k_h+p_h+s_h)/s_h\rfloor \times \lfloor(n_w-k_w+p_w+s_w)/s_w\rfloor. 其...

2018-06-03 10:57:17 7704 2

原创（六）神经网络的参数计算

全连接的参数计算如图: (5*4+5)+(3*5+3) 即第一层参数+第二层参数参数类型只有2种：w和b w的数量就是输入层到输出层之间的箭头数目，而b的数目等于每个输出神经元的数目（即不包括输入层的神经元），输入层的神经元数目即输入数据的特征维度数目，比如数据矩阵为2*4的矩阵X,2行代表两个样本数据，4列代表每个样本有4个属性特征值，所以经过神经网络的计算是依次取每行的数据进行计...

2018-06-01 21:20:55 7946 1

原创预测房价实战

1、pandas读取数据把训练集和测试集处标签外合并，准备处理数据2、预处理数据连续数据：如果一个特征的值是连续的，设该特征在训练数据集和测试数据集上的均值为μ，标准差为σ。那么，该特征的每个值将先减去μ再除以σ离散数值：把离散数据处理成0、1…，比如，天气：晴天，雨天，多云3属性；原来的列“天气”变为3列“晴天，雨天，多云”，时候出现该天气用0，1表示，并把缺失数据值用本...

2018-06-01 16:47:52 2062

原创（一）pandas基本使用

1、导入import pandas as pd df_data = pd.read_csv(&amp;amp;quot;train.csv&amp;amp;quot;)2、访问数据通过行列名x=df_data .loc[0,'Id':'MSZoning'](这里0是行名)通过行列indexy=df_data .iloc[0:2,:]

2018-06-01 15:24:39 343