PyTorch第七讲 多维度特征输入

处理多维特征的输入

逻辑斯蒂回归模型：

$${\hat{y}}^{(i)}=\sigma (x^{(i)}\ast \omega +b)$$

多维情况下的逻辑斯蒂回归模型

$$\begin{array}{rl}{\hat{y}}^{(i)}& =\sigma (\sum _{n=1}^8{x}_n^{(i)}\cdot {\omega }_n+b)\end{array}$$

每一维都要乘上权重：

$$\sum _{n=1}^8{x}_n^{(i)}\cdot {\omega }_n=\left[\begin{array}{ccc}{x}_1^{(i)}& \cdots & x_N^{(i)}\end{array}\right]\left[\begin{array}{c}{\omega }_1\\ ⋮\\ {\omega }_8\end{array}\right]$$

最终得到：

$$\begin{array}{rl}{\hat{y}}^{(i)}& =\sigma (\left[\begin{array}{ccc}{x}_1^{(i)}& \cdots & {\chi }_8^{(i)}\end{array}\right]\left[\begin{array}{c}{\omega }_1\\ ⋮\\ {\omega }_8\end{array}\right]+b)\\ & =\sigma (Z^{(i)})\end{array}$$

维度变换：[N×1]=[N×8]*[8×1]+[N×1]

$$\left[\begin{array}{c}{z}^{(1)}\\ ⋮\\ z^{(N)}\end{array}\right]=\left[\begin{array}{ccc}{\chi }_1^{(1)}& ...& x_8^{(1)}\\ ⋮& \ddots & ⋮\\ x_1^{(N)}& ...& x_8^{(N)}\end{array}\right]\left[\begin{array}{c}{\omega }_1\\ ⋮\\ {\omega }_8\end{array}\right]+\left[\begin{array}{c}b\\ ⋮\\ b\end{array}\right]$$

---

也可以改成多层：8→6 6→4 4→1

• 每一次线性变换降维后，都会用一次激活函数，例如sigmoid()逻辑斯蒂激活函数，这个激活函数是非线性的，这样多层下来就能模拟出我们所需要的非线性方程
• 隐藏层越多，学习能力越强，但并非是学习能力越强越好，学习能力太强了会把训练时的噪声也学了，会导致模型泛化能力差
• 具体多少个隐藏层，要用超参数搜索来寻找最优结果

---

损失函数

$$loss=-\frac{1}{N}\sum _{n=1}^N{y}_n\log {\hat{y}}_n+(1-y_n)\log (1-{\hat{y}}_n)$$
$$\omega =\omega -\alpha \frac{\partial cost}{\partial \omega }$$

激活函数