深度学习（一）————线性回归、Softmax、多层感知机

目录

线性回归

模型

Softmax

多层感知机

公式表达

激活函数

---

线性回归

模型

       为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:

损失函数
在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选下列公式为损失误差

代码难点yield用法

https://blog.csdn.net/mieleizhi0522/article/details/82142856

Softmax

主要用与神经网络输出层：

输出问题
直接使用输出层的输出有两个问题：

1. 一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果o1=o3=103，那么输出值10却又表示图像类别为猫的概率很低。
2. 另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。

softmax运算符（softmax operator）解决了以上两个问题。它通过下式将输出值变换成值为正且和为1的概率分布：

softmax全部流程

多层感知机

组成：输入层，隐含层，输出层

公式表达

激活函数

relu,sigmoid,tanh，他们之间的区别：https://blog.csdn.net/guorongronghe/article/details/70174476