机器学习
goodluckcwl
有价值、有影响力的研究
展开
-
子空间算法
子空间算法问题描述:设X1,X2,...,XpX1,X2,...,XpX_1,X_2,...,X_p为训练样本,每个XiXiX_i为M维矢量,要求一个N×MN×MN\times M的矩阵A,使得: YN×1=AN×MXM×1YN×1=AN×MXM×1Y_{N\times 1}=A_{N\times M}X_{M\times1} AN×M=⎡⎣⎢⎢⎢a1a2...aN⎤⎦⎥⎥⎥AN×M=[a...原创 2016-06-08 23:09:26 · 6378 阅读 · 0 评论 -
统计学习基础(一)监督学习方法概述
寒假再写,先开个头原创 2017-01-15 15:49:25 · 353 阅读 · 0 评论 -
机器学习(四)集成学习概述
一、集成学习(Ensemble Learning)集成学习是指通过训练多个分类器,然后将这些分类器组合起来,来获得比单个分类器更优的性能(比最好的那个分类器还要好)。如果每个分类器都是同种类型的(比如都是决策树或者都是SVM等等),那么这些单个的分类器我们称为基学习器;如果集成中包含不同类型的分类器,这样的集成是异质的。需要注意的是,这些单个的分类器性能不一定要很好,只需要比随机猜测好就可以。在我们原创 2016-05-31 14:07:13 · 1893 阅读 · 0 评论 -
机器学习(一)线性回归
最小二乘具有闭式解广义线性模型是指先对y作变换,再线性拟合。logit regression逻辑斯蒂回归是统计学习的一种经典分类方法,是一种对数线性模型,由条件概率分布P(Y|X)P(Y|X)P(Y | X)表示,形式为参数化的逻辑斯蒂分布。 逻辑斯蒂回归模型 满足如下条件概率分布: P(Y=1|x)=exp(w∙x)1+exp(w∙x+b)P(Y=1|x)=...原创 2016-12-22 16:37:17 · 654 阅读 · 5 评论 -
机器学习(三)半监督学习(Semi-supervised Learning)
问题: 有训练样本DL={(x1,y1),(x2,y2),...,(xl,yl)}D_L = \{(x_1, y_1), (x_2, y_2),...,(x_l, y_l)\} 与未标记样本DU={xx+1,xx+2,...,xl+u}D_U=\{x_{x+1}, x_{x+2},...,x_{l+u} \} 要求: 用DLUDUD_LU D_U 训练分类器方法:在DLD_L 上训练分类器原创 2018-03-07 21:12:45 · 1887 阅读 · 0 评论 -
机器学习(二)支持向量机
支持向量机支持向量机(Support vector machines, SVM)是一种二分类模型。基础模型是定义在特征空间上的最大间隔分类器。支持向量机的目标就是最大化间隔。 线性可分能做一个超平面分开训练数据支持向量机的推导设超平面是Wx+b=c,且到两边的支持向量(离超平面最近的向量)的距离相等。我们的目标是使得间隔d最大化。可以得到优化目标 Minimize|...原创 2018-03-07 20:41:31 · 701 阅读 · 0 评论 -
机器学习的几个问题探讨
只有正样本的分类问题(Learning from Positive and Unlabeled examples)对于一个分类问题,有时候训练样本只有正样本,没有负样本。比如,文本分类中,假设我们有一些标定好的训练样本,有n个类,我们用这些训练样本去训练一个分类器,用于把新的文本分成n类。问题的关键是我们没有负样本,而只有一些未标定正样本与负样本的训练数据。这样的问题叫做PU学习。 待续。。。参考原创 2016-06-13 22:47:19 · 704 阅读 · 0 评论 -
隐马尔科夫模型
待续原创 2016-06-05 22:07:48 · 258 阅读 · 0 评论 -
深度学习_综述
参考文献:[1]Deep Learning in Neural Network:An overview.Jurgen Schmidhuber[2]Deep Machine Learning:A New Frontier.Itamar Arel, Derek C. Rose, and Thomas P. Karnowski[3]Nature:Deep Review.Yann Le原创 2016-04-20 15:04:59 · 607 阅读 · 1 评论 -
机器学习(六)统计学习理论
统计学习理论的意义统计学习理论提供了机器学习的一个理论基础。通过理论推导,从本质上说明了机器学习为什么会出现过拟合现象,以及过拟合与模型选择、训练数据之间有什么关系。数学推导设训练集S={(xi,yi)}mi=1S={(xi,yi)}i=1mS=\{(x_i, y_i) \}_{i=1}^m,所有的(xi,yi)(xi,yi)(x_i,y_i)独立同分布(Independent a...原创 2018-03-09 21:19:01 · 4236 阅读 · 0 评论