pytorch初学(1)（安装及入门）

新手初学，在此记录，希望能对大家有所帮助

一、安装pytorch(安装前先安装anaconda，或是在其他虚拟环境下比如virtualenv)

下载网址https://ptorch.com/news/30.html

在此网址内选择自己系统以及版本进行下载，避免了官网点不动、commend无法生成的问题。

安装过程中遇到问题：oserror 13 permission deny 

解决方法：1.sudo 参考http://blog.csdn.net/jiangjieqazwsx/article/details/47029477

2.鉴于1的方法因为我使用hpc服务器不在sudo用户组所以不可用，我的解决方法是（多谢师姐）pip install --user 后正常

二、初步学习使用pytorch

找到一个比较好的简书作者，但是该作者只写了五篇，链接已分别对应着一一附上。

1.参考网址：http://www.jianshu.com/p/5ae644748f21这篇简书内容较为简单，适合0基础初学。

其中有介绍【Tensor的加法(四种)】方法四：>>>b.add_(a) #把运算结果覆盖掉b    方法五： >>>b.add(a) #把结果输出但并不覆盖b   

其中有介绍【tensor（张量）除加法以外的其他操作】（比如转置、切片等）：参考网址http://pytorch.org/docs/master/torch.html（英文版）

其中有介绍【张量tensor可与多维数组array互换】公用一块内存，只是不同表达方式。对于ones()函数，torch.ones()与numpy.ones()生成的结果不同，向量&数组。

其中有介绍【CUDA的神助攻】

2.autograd自动微分  http://www.jianshu.com/p/cbce2dd60120

其中有介绍【Variable：是Tensor的一个wrapper，不仅保存了值，而且保存了这个值的creator，需要BP的网络都是Variable参与运算

 其中有介绍【norm()函数 求平方根

 其中有介绍【>>>y.backward()   #backward()函数表示backprop

                     >>>x.grad    #返回y关于x的梯度向量

 其中有介绍【autograd是专门为了BP算法设计的，所以这autograd只对输出值为标量的有用。

 其中有介绍【我们之所以可以实现autograd多亏了Variable和Function这两种数据类型的功劳。要进行autograd必需先将tensor数据包成Variable。

2.99.在三讲开始之前 需要掌握深度卷积神经网络知识

http://www.cnblogs.com/Rambler1995/p/5467074.html       

http://blog.csdn.net/xuanyuansen/article/details/41800721

其中对偏置参数解释：

http://blog.csdn.net/xwd18280820053/article/details/70681750

http://blog.csdn.net/kaido0/article/details/53161684

3.构造一个小型CNN   http://www.jianshu.com/p/cde4a33fa129

3.0 讲解正式代码前我们需要先了解torch.nn包所具有的基本类型，这个包是用来构建神经网络的。

学习网址：

http://blog.csdn.net/xmdxcsj/article/details/49314297

http://blog.csdn.net/u012436149/article/details/54627597 

构建一个神经网络需要以下几步：

• 定义神经网络的权重,搭建网络结构
• 遍历整个数据集进行训练 
  
  • 将数据输入神经网络
  • 计算loss
  • 计算网络权重的梯度
  • 更新网络权重 
    
    • weight = weight + learning_rate * gradient

3.1 这个小型cnn 完成了lenet。 其完整代码及注释：https://pan.baidu.com/s/1slnkpxN（来源简书）

（神经网络中的激活函数l： 参考网站：神经网络回顾-Relu激活函数 - 1357 - 博客园  http://www.cnblogs.com/qw12/p/6294430.html）

#coding=utf-8

import torch

import torch.nn as nn

import torch.nn.functional as F

from torch.autograd import Variable

 

class Net(nn.Module): #需要继承这个类

     #定义Net的初始化函数，这个函数定义了该神经网络的基本结构

     def __init__( self ):

         super (Net, self ).__init__() #复制并使用Net的父类的初始化方法，即先运行nn.Module的初始化函数

         self .conv1 = nn.Conv2d( 1 , 6 , 5 ) # 定义conv1函数的是图像卷积函数：输入为图像（1个频道，即灰度图）,输出为 6张特征图, 卷积核为5x5正方形

         self .conv2 = nn.Conv2d( 6 , 16 , 5 ) # 定义conv2函数的是图像卷积函数：输入为6张特征图,输出为16张特征图, 卷积核为5x5正方形

#以上是两个卷积层，都不包含激活函数的。#以下是三个全连接层。

         self .fc1   = nn.Linear( 16 * 5 * 5 , 120 ) # 定义fc1（fullconnect）全连接函数1为线性函数：y = Wx + b，并将16*5*5个节点连接到120个节点上。

         self .fc2   = nn.Linear( 120 , 84 ) #定义fc2（fullconnect）全连接函数2为线性函数：y = Wx + b，并将120个节点连接到84个节点上。

         self .fc3   = nn.Linear( 84 , 10 ) #定义fc3（fullconnect）全连接函数3为线性函数：y = Wx + b，并将84个节点连接到10个节点上。

 

     #定义该神经网络的向前传播函数。该函数必须定义，一旦定义成功，向后传播函数也会自动生成（autograd）

     def forward( self , x): #输入x

         x = F.max_pool2d(F.relu( self .conv1(x)), ( 2 , 2 )) #输入x经过卷积conv1之后（x->c1），经过激活函数ReLU，使用2x2的窗口进行最大池化Max pooling(c1->s2)，然后更新到x。

         x = F.max_pool2d(F.relu( self .conv2(x)), 2 ) #输入x经过卷积conv2之后(s2->c3)，经过激活函数ReLU，使用2x2的窗口进行最大池化Max pooling，然后更新到x。

         x = x.view( - 1 , self .num_flat_features(x)) #view函数将张量x变形成一维的向量形式（c3->s4），总特征数并不改变，为接下来的全连接作准备。

         x = F.relu( self .fc1(x)) #输入x经过全连接1，再经过ReLU激活函数，然后更新x (s4->c5)

         x = F.relu( self .fc2(x)) #输入x经过全连接2，再经过ReLU激活函数，然后更新x (c5->f6)

         x = self .fc3(x) #输入x经过全连接3，然后更新x (f6->output)

         return x

 

     #使用num_flat_features函数计算张量x的总特征量（把每个数字都看出是一个特征，即特征总量），比如x是4*2*2的张量，那么它的特征总量就是16。

     def num_flat_features( self , x):

         size = x.size()[ 1 :] # 这里为什么要使用[1:],是因为pytorch只接受批输入，也就是说一次性输入好几张图片，那么输入数据张量的维度自然上升到了4维。【1:】让我们把注意力放在后3维上面

         num_features = 1

         for s in size:

             num_features * = s

         return num_features

 

 

net = Net() #对net类实例化一个对象net

net

 

# 以下代码是为了看一下我们需要训练的参数的数量

print net #输出该类的五个变量c1\c3\c5\f6\output 以及定义他的函数及参数

params = list (net.parameters()) #将NET的参数共10个 变成列表形式c1 S2\c3 S4\c5 s4->c5（即fc1）\c5->f6 f6（即fc2）\f6->output output （即fc3）

k = 0

for i in params: #eg:x->c1 c1

     l = 1

     print "该层的结构：" + str ( list (i.size())) #c1有6个卷积层 x有1个卷积层 c1在x上的卷积核大小为5*5

     for j in i.size():

         l * = j

     print "参数和：" + str (l) #参数和6*1*5*5

     k = k + l #用来累加总参数和

 

print "总参数和：" + str (k)

4.该作者在此整理了可下载图片训练数据集的网址：http://www.jianshu.com/p/8da9b24b2fb6

5.此作者的最后一篇：训练和测试cnn ：http://www.jianshu.com/p/e4c7b3eb8f3d

6.关于softmax分类器 的讲解

http://blog.csdn.net/hlx371240/article/details/40015395

http://blog.csdn.net/hlx371240/article/details/40201499

http://blog.csdn.net/pi9nc/article/details/19336629

http://blog.csdn.net/hlx371240/article/details/40201499