![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习方法
ccccccccccs
这个作者很懒,什么都没留下…
展开
-
统计学习方法6_2.最大熵模型原理介绍
1.最大熵原理最大熵原理认为,学习概率模型时,在所有可能的概率分布中,熵最大模型为最好的模型。因此在满足约束条件的情况下,最大熵原理选择的使熵最大的模型。熵的公式为:H(P)=−∑xP(x)logP(x)H(P)=-\sum_x P(x)logP(x)H(P)=−∑xP(x)logP(x)2.最大熵模型将上述最大熵原理运用到模型的选择上即为最大熵模型。考虑现在有样本集(x1,y1),(...原创 2019-11-16 17:57:22 · 612 阅读 · 0 评论 -
统计学习方法6_1.逻辑斯蒂回归(logistics回归)
1.逻辑斯蒂回归、逻辑斯蒂分布、对数几率首先,逻辑斯蒂回归的公式为:P(Y=1∣X)=exp(w⋅x)1+exp(w⋅x) P(Y=1|X)=\frac{exp(w·x)}{1+exp(w·x)} P(Y=1∣X)=1+exp(w⋅x)exp(w⋅x)P(Y=0∣X)=11+exp(w⋅x) P(Y=0|X)=\frac{1}{1+exp(w·x)} P(Y=0∣X)=1+ex...原创 2019-11-12 19:46:28 · 1083 阅读 · 0 评论 -
统计学习方法2、感知机模型原理与实现
1.感知机模型原理感知机模型是用于二分类的线性分类模型,输入为实例的特征向量,输出为实例的类别,取+1和-1值,即:f(x) = sign(w · x +b)其中x∈ R n,y∈{-1,+1}。感知机模型为一个线性分类模型,当w · x +b==0时,对应于特征空间 R n中的一个超平面S,w为超平面的法向量,b为超平面的截距。而正是通过超平面S将特征空间Rn中的x分开的。R2特征空...原创 2019-10-15 21:36:08 · 296 阅读 · 0 评论 -
欧几里得空间 希尔伯特空间
在数学中有许多空间表示,比如向量空间、内积空间、欧式空间以及希尔伯特空间等。1、距离的定义具体的距离:实际上距离除了我们经常用到的直线距离外,还有向量距离, 函数距离、 曲面距离、折线距离等等,这些具体的距离与距离之间的关系类似于苹果、香蕉等与水果的关系,前面是具体的事物,后面是抽象的概念。距离就是一个抽象的概念,其定义为:设X是任一非空集,对X中任意两点x,y,有一实数d(x,y)与之...转载 2019-10-04 16:19:42 · 334 阅读 · 0 评论 -
统计学习方法1.统计学习方法概论
1.模型1.1概率模型与非概率模型2.策略损失函数(Loss Function):是定义在单个样本上的,是指一个样本的误差。代价函数(Cost Function):是定义在整个训练集上的,是所有样本误差的平均,也就是所有损失函数值的平均。目标函数(Object Function):是指最终需要优化的函数,一般来说是经验风险+结构风险,也就是(代价函数+正则化项)。3.方法参考链接...原创 2019-10-08 21:19:16 · 113 阅读 · 0 评论