数据集:
sigmoid与条件概率的关系及推导过程
sigmoid是机器学习中常用的激活函数,其优势作者这里不一一赘述,本文主要从另一个角度,判别模型(discriminative model)条件概率的角度对sigmoid函数进行推导。
机器学习判别模型主要想通过神经网络对 P(Y|X)
进行建模。
假设 xϵRn
且yϵy1,y2且P(x|y1)∼N(μ1,∑) 且 P(x|y1)∼N(μ1,∑)
根据上述假设可得:
根据贝叶斯公式:
观察 P(x|y1)P(x|y2)
带入假设P(x|y1),P(x|y2)
概率密度函数,可得
注:(1)同理也可以通过假设多个条件概率密度函数,也可以求得softmax形式。(2)为了便于推导方便这里假设协方差矩阵相同,不同的话也没有问题,不影响最终线性表达式的形式
归一化,也算是数据标准化方法之一。常见的计算公式如下,得到新数据范围在[0,1]之间,归一化由此得名。
归一化:1)把数据变成(0,1)或者(1,1)之间的小数。
物理量按照其属性分为两类:1.物理量的大小与度量所选用的单位有关,称为有量纲量,例如,时间、长度、质量、速度、力、能量等。2.物理量的大小与度量所选的单位无关,称为无量纲量,例如角度、增益、两个长度之比等。