深度学习第一天

主要是为了保存一下线性回归的代码，

1，复杂线性回归的实现，mxnet自己实现

%matplotlib inline
from IPython import display
from matplotlib import pyplot as plt
from mxnet import autograd,nd
import random

#数据输入
num_inputs=2
num_examples=1000
true_w=[2,-3.4]
true_b=4.2
features=nd.random.normal(scale=1,shape=(num_examples,num_inputs))#相当于x,,,scale标准差，正态分布
labels=true_w[0]*features[:,0]+true_w[1]*features[:,1]+true_b#相当于  y hat
labels+=nd.random.normal(scale=0.01,shape=label.shape)
w=nd.random.normal(scale=0.01,shape=(num_inputs,1))
b=nd.zeros(shape=(1,))

w.attach_grad()
b.attach_grad()

#函数实现

#绘制散点图
def use_svg_display():
    # 用矢量图显示
    display.set_matplotlib_formats('svg')

def set_figsize(figsize=(3.5, 2.5)):
    use_svg_display()
    # 设置图的尺寸
    plt.rcParams['figure.figsize'] = figsize

set_figsize()
plt.scatter(features[:, 1].asnumpy(), labels.asnumpy(), 1);  # 加分号只显示图

#返回batch_size个随机变量的特征和标签
def data_iter(batch_szie,features,labels):
    num_examples=len(features)
    indices=list(range(num_examples))
    random.shuffle(indices)#样本的读取时是随机的
    
    for i in range(0,num_examples,batch_size):
        j=nd.array(indices[i:min(i+batch_szie,num_examples)])
        yield features.take(j),labels.take(j)
##线性回归的矢量表达式实现
def linreg(X,w,b):
    return nd.dot(X,w)+b
##定义损失函数，但是这个损失函数不好
def squared_loss(y_hat,y):
    return (y_hat-y.reshape(y_hat.shape))**2/2
#优化算法，小批量随机梯度下降算法
def sgd(params,lr,batch_size):
    for param in params:
            param[:]=param-lr*param.grad/batch_size


#测试样例
import d2lzh

lr=0.03#学习率
num_epochs=3#迭代周期
net=linreg
loss=squared_loss

for epoch in range(num_epochs):
    for X,y in data_iter(batch_size,features,labels):
        with autograd.record():
            l=loss(net(X,w,b),y)
        l.backward()
        sgd([w,b],lr,batch_size)
    train_l=loss(net(features,w,b),labels)
    print('epoch %d,loss %f '%(epoch+1,train_l.mean().asnumpy()))

2，简单实现，使用gluon接口

##线性回归的简单实现，使用gluon接口

##生成数据集
from mxnet import autograd,nd
num_inputs=2
num_examples=1000
true_w=[2,-3.4]
true_b=4.2
features=nd.random.normal(scale=1,shape=(num_examples,num_inputs))
labels=true_w[0]*features[:,0]+true_w[1]*features[:,1]+true_b
labels+=nd.random.normal(scale=0.01,shape=labels.shape)


##读取数据集
from mxnet.gluon import data as gdata

batch_size=10
dataset=gdata.ArrayDataset(features,labels)##将训练数据的特征和标签结合起来
data_iter=gdata.DataLoader(dataset,batch_size,shuffle=True)##随机读取小批量

##定义模型
from mxnet.gluon import nn##nn神经网络的缩写，预定义了大量的神经网络的层

net=nn.Sequential()##相当于串联各个层的容器，我们需要在该容器中加入层数
net.add(nn.Dense(1))##在gluon中全连接层相当于是Dense实例，可规定输出个数

##初始化模型
from mxnet import init
net.initialize(init.Normal(sigma=0.01))##初始化样本为服从正态分布的均值为0，标准差为0.01

##定义损失函数
from mxnet.gluon import loss as gloss
loss=gloss.L2Loss()

##定义优化算法
from mxnet import gluon
trainer=gluon.Trainer(net.collect_params(),'sgd',{'learning_rate':0.03})

##测试样例
num_epochs = 3
for epoch in range(1, num_epochs + 1):
    for X, y in data_iter:
        with autograd.record():
            l = loss(net(X), y)
        l.backward()
        trainer.step(batch_size)
    l = loss(net(features), labels)
    print('epoch %d, loss: %f' % (epoch, l.mean().asnumpy()))

dense=net[0]
print(true_w,dense.weight.data())