动手学深度学习学习笔记（5）

深度学习基础

线型回归
线性回归输出是一个连续值，因此使用于回归问题。回归问题在实际中很常见，如预测房屋价格，气温，销售额等连续值的问题。与回归问题不同，分类问题中的模型的最终输出是一个离散值。
图像分类，垃圾邮件识别，疾病检测等输出为离散值的问题都属于分类问题的范畴。
softmax回归则适用于分类问题。

通过深度学习框架来实现线性回归

首先导入需要的包
matplotlib可以用于作图，且设置成嵌入显示

%matplotlib inline
import torch
from TPython import display
from matplotlib import pyplot as plt
import numpy as np
import random

生成数据集
构建一个简单的人工训练数据集，可以直观比较学到的参数和真实模型参数的区别。
设训练数据集样本数为1000，特征数为2.
给定随机生成的批量样本特征 X∈R^1000x2
使用线型回归模型真实权重w = [2,-3.4]^T 偏差b = 4.2，以及一个随机噪声项ε 来生成label
其中ε服从均值为0，标准差为0.01的正态分布，噪声代表数据集中无意义的干扰。
生成数据集

num_inputs = 2
num_examples = 1000
true_w = [2,-3.4]
true_b = 4.2
features = torch.randn(num_examples,num_inputs,dtype = torch.float32)
labels = true_w[0]*features[:,0] + true_w[1]*features[:,1] + true_b
labels += torch.tensor(np.random.normal(0,0.01,size = labels.size()),dtype = torch.float32)

重点：features的每一行是长度为2的向量，而labels的每一行是一个长度为1的向量。

print(features[0],labels[0])

输出：

tensor([1.5935, 0.4528]) tensor(5.8407)

通过生成第二个特征features[:,1]和标签labels的散点图，可以更直观地观察两者间的线性关系。

def use_svg_display():
	#用矢量图显示
	display.set_matplotlib_formats('svg)

def set_figsize(figsize = (3.5,2.5)):
	use_svg_display()
	#设置图的尺寸
	plt.rcParams['figure.figsize'] = figsize

"""
在.../d2lzh_pytorch里面添加上面两个函数后就可以这样导入
import sys
sys.path.append("...")
from d2lzh_pytorch import *
"""

set_figsize()
plt.scatter(features[:,1].numpy(),labels.numpy(),1);

输出

将plt作图函数以及use_svg_display函数和set_figsize函数定义在d2lzh_pytorch包里。以后作图时，可以直接调用d2lzh_pytorch.plt。
由于plt在d2lzh_pytorch包中是一个全局变量，在作图前只需要调用d2lzh_pytorch.set_figsize()即可打印矢量图并设置图的尺寸。

读取数据
在训练模型时，需要遍历数据集并不断读取小批量数据样本。这里定义一个函数：每次返回batch_size(批量大小)个随机样本的特征和标签。

def data_iter(batch_size,features,labels):
	num_examples = len(features)
	indices = list(range(num_examples))
	random.shuffle(indices)
	#样本的读取顺序是随机的
	for i in range (0, num_examples, batch_size)
		j = torch.LonfTensor(indices[i:min(i + batch_size, num_examples)])
		#最后一个batch可能不满
		yield features.index_select(0,j),lables.index_select(0,j)

读取第一组小批量数据样本并打印。
每个批量shape为[10,2]，10是batch_size,2是特征数量，labels长度为批量大小

batch_size = 10

for X,y in data_iter(batch_size, features, labels):
	print(X,y)
	break

输出

tensor([[-0.3721,  0.5830],
        [-0.3185,  1.1796],
        [ 0.3873, -0.1933],
        [-0.8960, -0.0529],
        [ 0.2648,  0.2811],
        [-1.2700,  0.2642],
        [-0.6704,  0.8477],
        [-0.2985, -0.2650],
        [-1.2221,  0.7288],
        [-0.3066, -2.0512]]) 
        tensor([ 1.4812, -0.4534,  5.6262,  2.5825,  3.7621,  0.7766, -0.0216,  4.5068,
        -0.7031, 10.5540])

初始化模型参数
将权重初始化成均值为0，标准差为0.01的正态随机数，偏差则初始化成0

w = torch.tensor(np.random.normal(0,0.01,(num_inputs,1)),dtype = torch.float32)
b = torch.zeros(1,dtype = torch.float32)

之后的模型训练中，需要对这些参数求梯度来迭代参数的值，因为要让它们的requires_grad = True。

w.requires_grad_(requires_grad = True)
b.requires_grad_(requires_grad = True)