7天深度学习-day2-神经网络中的概率

1、离散型与连续性

• 一条直线能完好分割的数据，就是线性的
• 如果一条直线不能完好分割的数据，就是非线性的

在非线性的数据里，我们需要借助误差函数（Error Function）来达到目的，误差函数越小，离目标越近。对于优化而言，连续性误差函数比离散型误差函数更好。

那如果将离散型误差函数转变成连续性误差函数了？
- 1.离散性 可以用 0或1来表示，y = 1 if x >= 0 else 0
- 2.连续性 可以用 概率 来表示，sigmoid 函数，公式为： y = 1 / (1 + exp(-x))
- 3.对于离散性的激活函数，我们用 阶跃函数(Step Function) ，step(Wx + b)
- 4.对于连续性激活函数，我们用 S 函数，Sigmoid(Wx + b)

   激励函数，离散的阶跃函数、连续的sigmoid 函数。

 将0,1变成是概率输出，这样给出的不再是是否录取，而且录取的概率是多少。

 

2、多类别分类和 Softmax

对于之前的二分类问题，我们得到的结果要么是1，要么是0。但是如果我们希望有多个类别了？比如：结果是黄色，绿色，还是蓝色？猫，狗，还是老虎？

指数 (exp) 就是对数字进行平方运算，所以结果始终为正数

那如果有多个类别