莫烦python pytorch_pytorch学习笔记（更新中）

一、动态图

二、变量

tensor的建立：

三、网络结构

查看网络参数model.state_dict()

ps：

四、网络流程

1.定义网络

2.定义结构

3.定义loss

4.设置优化器

例子：(来自莫烦python)

import torch

import torch.nn.functional as F

import matplotlib.pyplot as plt

# torch.manual_seed(1) # reproducible

x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) # x data (tensor), shape=(100, 1)

y = x.pow(2) + 0.2*torch.rand(x.size()) # noisy y data (tensor), shape=(100, 1)

# torch can only train on Variable, so convert them to Variable

# The code below is deprecated in Pytorch 0.4. Now, autograd directly supports tensors

# x, y = Variable(x), Variable(y)

# plt.scatter(x.data.numpy(), y.data.numpy())

# plt.show()

class Net(torch.nn.Module):

def __init__(self, n_feature, n_hidden, n_output):

super(Net, self).__init__()

self.hidden = torch.nn.Linear(n_feature, n_hidden) # hidden layer

self.predict = torch.nn.Linear(n_hidden, n_output) # output layer

def forward(self, x):

x = F.relu(self.hidden(x)) # activation function for hidden layer

x = self.predict(x) # linear output

return x

net = Net(n_feature=1, n_hidden=10, n_output=1) # define the network

print(net) # net architecture

# SGD为随机梯度下降

optimizer = torch.optim.SGD(net.parameters(), lr=0.2)

loss_func = torch.nn.MSELoss() # this is for regression mean squared loss

plt.ion() # something about plotting

for t in range(200):

prediction = net(x) # input x and predict based on x

loss = loss_func(prediction, y) # must be (1. nn output, 2. target)

optimizer.zero_grad() # clear gradients for next train

loss.backward() # backpropagation, compute gradients

optimizer.step() # apply gradients

#梯度在backward后就可以调用step，optimizer在之前需要先清零。step为单次优化

if t % 5 == 0:

# plot and show learning process

plt.cla()

plt.scatter(x.data.numpy(), y.data.numpy())

plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)

plt.text(0.5, 0, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 20, 'color': 'red'})

plt.pause(0.1)

plt.ioff()

plt.show()

with torch.no_grad():  后面的代码不用反向传播

x.view(-1) 将tensor变成一维的(-1代表不确定)

五、细节问题

tensor相关函数的解析

1.squeeze()和unsqueeze()函数，一个是增加维度，一个是减少维度

2.detach()和detach_()，设置一个叶子节点，求导的终点

3. torch.linspace()

函数的作用是，返回一个一维的tensor(张量)，这个张量包含了从start到end，分成steps个线段得到的向量。常用的几个变量

start：开始值

end：结束值

steps：分割的点数，默认是100

dtype：返回值(张量)的数据类型

4. torch.sum()

将传入的整数代表的维度对应的数字相加减。

5. torch.argmax()

返回指定维度的最大元素的坐标

6. torch.clamp()

如超过最大值和最小值阀值，将其截断。numpy.clip作用类似

7. torch.cat()

合并多个tensor为一个tensor

8. tensor变量[range(number),...]

在range的维度中找后面list中一一对应的坐标(原来是tensor(n*m*p)，就是range(n),list(length is m),)，可以在对应维度空着。

tensors used as indices must be long or byte tensors. 如果是tensor需要改成long，或者直接用list就行，需要注意不能越界

ps：

BN层以及BN问题：

强化学习：(很全，查td误差时候找到的)