PyTorch入门(五)——autograd与逻辑回归

autograd——自动求导系统

torch.autograd.backward

torch.autograd.backward(tensor,
						grad_tensors=None,
						retain_graph=None,
						create_graph=False)

功能：自动求梯度
tensor：用于求导的张量，如loss
retain_graph：保存计算图
create_graph：创建导数计算图，用于高阶求导
grad_tensors：多梯度权重

torch.autograd.grad

torch.autograd.grad(outputs,
					inputs,
					grad_tensors=None,
					retain_graph=None,
					create_graph=False)

功能：求取梯度
outputs：用于求导的张量，如loss
inputs：需要梯度的张量
retain_graph：保存计算图
create_graph：创建导数计算图，用于高阶求导
grad_tensors：多梯度权重

注意

1. 梯度不自动清零
2. 依赖于叶子结点的结点，requires_grad默认为True
3. 叶子结点不能执行in-place操作

逻辑回归

逻辑回归是线性的二分类模型
模型的表达式：
$$y=f(WX+b)$$
$$f(x)=\frac{1}{1+e^{-x}}$$
其中$f(x)$称为Sigmod函数，也称为Logistic函数，图像如图所示：

$$class=\{\begin{array}{cc}0& y<0.5\\ 1& y\ge 0.5\end{array}$$
线性回归是分析自变量x与因变量y（标量）之间关系的方法
逻辑回归是分析自变量x与因变量y（概率）之间关系的方法

逻辑回归也叫对数几率回归：
$$ln\frac{y}{1-y}=WX+b$$

此外还有对数回归：
$$lny=WX+b$$

机器学习模型训练的要素：

1. 数据
2. 模型
3. 损失函数
4. 优化器
5. 迭代训练