神经网络1

 

 

 

数据集：

 

sigmoid与条件概率的关系及推导过程

sigmoid是机器学习中常用的激活函数，其优势作者这里不一一赘述，本文主要从另一个角度，判别模型（discriminative model)条件概率的角度对sigmoid函数进行推导。

机器学习判别模型主要想通过神经网络对 P(Y|X)

进行建模。

假设 xϵRn

且yϵy1,y2且P(x|y1)∼N(μ1,∑) 且 P(x|y1)∼N(μ1,∑)
根据上述假设可得：

 

根据贝叶斯公式：

 

观察 P(x|y1)P(x|y2)

带入假设P(x|y1),P(x|y2)

概率密度函数，可得

 

注：（1）同理也可以通过假设多个条件概率密度函数，也可以求得softmax形式。（2）为了便于推导方便这里假设协方差矩阵相同，不同的话也没有问题，不影响最终线性表达式的形式

归一化，也算是数据标准化方法之一。常见的计算公式如下，得到新数据范围在[0,1]之间，归一化由此得名。

归一化：１）把数据变成(０，１)或者（1,1）之间的小数。

物理量按照其属性分为两类：1.物理量的大小与度量所选用的单位有关，称为有量纲量，例如，时间、长度、质量、速度、力、能量等。2.物理量的大小与度量所选的单位无关，称为无量纲量，例如角度、增益、两个长度之比等。