![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习方法
761527200
这个作者很懒,什么都没留下…
展开
-
统计学习方法 --- 统计学习方法概论
一.基本概念统计学习的对象是数据1.统计学习关于数据的基本假设是同类数据具有一定的统计规律性,所以可以用概率统计方法来加以处理(服从XX分布)2.输入空间,输出空间,特征空间,空间可以是有限元素的集合,也可以是整个欧式空间欧式空间与非欧式空间的区别:一条直线L和不在L上的点P,经过P点平行于L的线有几条?在欧式空间中,这个问题显然是“只有一条”,然而在非欧空间中,这个问题就不一定了。...原创 2019-09-03 10:57:14 · 133 阅读 · 0 评论 -
统计学习方法 --- 感知机
一.感知机模型1.感知机是一种线性分类模型,属于判别模型二.感知机学习策略BP算法:minw,bL(w,b)=−∑x∈Myi(w.xi+b)min_{w,b}L(w,b)=-\sum_{x\in M} y_i(w.x_i+b)minw,bL(w,b)=−∑x∈Myi(w.xi+b)▽wL(w,b)=−∑yixi\bigtriangledown_wL(w,b)= -\sum y_ix...原创 2019-09-03 14:28:13 · 94 阅读 · 0 评论 -
统计学习方法 --- k近邻法
一.k近邻算法二.k近邻模型xi,xj的Lp距离定义Lp(xi,xj)=(∑i=1n∣xi(l)−xj(l)∣p)1/px_i,x_j的L_p距离定义L_p(x_i,x_j)=(\sum_{i=1^n} |x_i^{(l)}-x_j^{(l)}|^p)^{1/p}xi,xj的Lp距离定义Lp(xi,xj)=(∑i=1n∣xi(l)−xj(l)∣p)1/p当p=2时称为欧氏...原创 2019-09-03 19:28:43 · 150 阅读 · 0 评论 -
统计学习方法 ---朴素贝叶斯
一.基本方法1.联合概率分布:P(X=x∣Y=ck)=P(X(1)=x(1),...,X(n)=x(n)∣Y=ck)=∏j=1nP(X(j)=x(j)∣Y=ck),k=1,2,...,KP(X=x | Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)} | Y=c_k)=\prod_{j=1}^nP(X^{(j)}=x^{(j)} | Y=c_k),k=1,...原创 2019-09-05 14:46:35 · 113 阅读 · 0 评论 -
统计学习方法 --- 决策树
一.决策树模型:决策树由结点和有向边组成,内部结点表示一个特征或属性,外部一个结点表示一个类。决策树学习常用的算法有ID3,C4.5,CART二.信息增益熵是表示随机变量不确定性的度量P(X=xi)=pi,则随机变量X的熵定义为:H(x)=−∑i=1npilogpi,P(X=1)=P,P(X=0)=1−p,H(P)=−plog2p−(1−p)log2(1−p)P(X=x_i)=p_i,则...原创 2019-09-07 21:45:25 · 122 阅读 · 0 评论 -
统计学习方法 --- 逻辑斯谛回归与最大熵模型
一.逻辑斯谛回归模型1.逻辑斯谛分布函数(logistic distribution): u为位置参数,y>0为形状参数---------->u控制下图对称中心点的X坐标值,y控制在中心附近增长速度的快慢。例如u=1,y=2的函数图像为红色曲线所示F(X)=P(X<=x)=11+e−(x−u)/yF(X)=P(X<=x)=\frac{1}{1+e^{-...原创 2019-09-08 16:05:56 · 231 阅读 · 0 评论