线性回归 ，softmax，多层感知机

一 线性回归模型最要是描述输入输出的线性关系，

例如：房屋价格与房子面积和房子年龄的关系

为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:

price=warea⋅area+wage⋅age+b

二 优化函数 - 随机梯度下降

当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution）。

在求数值解的优化算法中，小批量随机梯度下降（mini-batch stochastic gradient descent）在深度学习中被广泛使用。它的算法很简单：先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch）B，然后求小批量中数据样本的平均损失有关模型参数的导数（梯度），最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。

学习率: j代表在每次优化中，能够学习的步长的大小
批量大小: B是小批量计算中的批量大小batch size

总结一下，优化函数的有以下两个步骤：

• (i)初始化模型参数，一般来说使用随机初始化；

• (ii)我们在数据上迭代多次，通过在负梯度方向移动参数来更新每个参数。

 

建模：

三 初始化模型参数

1,自定义方法

2，调用torch中

w = torch.tensor(np.random.normal(0, 0.01, (num_inputs, 1)), dtype=torch.float32)

b = torch.zeros(1, dtype=torch.float32)

w.requires_grad_(requires_grad=True)

b.requires_grad_(requires_grad=True)

的init

from torch import init

from torch import nn

net =nn.Sequential(nn.Linear(num_inputs,num_outputs)

init.normal_(net[0].weight,mean=0,std=0.1) 

init.canstant_(net[0].bais,val=0.3)

或者：

init.normal_(net.pramasters(),mean=0,std=0.1)

四 pytorch 模型叠加构建

# 初始化多层模型网络
nn.Sequential是一个存放模型的序列列表
里面的模型访问与访问list中的元素相同，可通过下表访问
# 方法一

net = nn.Sequential(
    nn.Linear(num_inputs, num_outputs)
    # 在这里写其他层网络
    )

nn.Sequential是一个存放模型的序列列表
里面的模型访问与访问list中的元素相同，可通过下表访问

print(net[0])
>>> (0) nn.Linear(num_inputs,num_outputs)

# 方法二

net =