机器学习理论
文章平均质量分 93
xyk_hust
大家好,欢迎访问我的博客,我是小编似冷非寒,我来自华中科技大学机械学院,喜欢研究机器学习、强化学习、深度学习领域。我的信仰是:从零到精通,与天赋无关,全靠汗水成就。相信不断奋斗的你,终有一天会成为别人眼中的大神...加油吧!少年...
展开
-
第十二讲:强化学习(Reinforcement Learning)和控制(Control)
这一章我们就要学习强化学习(reinforcement learning)和适应性控制(adaptive control)了。在监督学习(supervised learning)中,我们已经见过的一些算法,输出的标签类 yyy 都是在训练集中已经存在的。这种情况下,对于每个输入特征 xxx,都有一个对应的标签作为明确的“正确答案(right answer)”。与之相反,在很多的连续判断(sequ...原创 2019-01-27 09:53:28 · 13150 阅读 · 0 评论 -
第七讲(下):混合高斯 (Mixtures of Gaussians) 和期望最大化算法(the EM algorithm)
在本章讲义中,我们要讲的是使用期望最大化算法(EM,Expectation-Maximization)来进行密度估计(density estimation)。一如既往,还是假设我们得到了某一个训练样本集 {x(1),...,x(m)}\{x^{(1)}, ... , x^{(m)}\}{x(1),...,x(m)}。由于这次是非监督学习(unsupervised learning)环境,所以这些...原创 2019-01-16 15:14:01 · 754 阅读 · 0 评论 -
第七讲(上):k均值聚类算法(k-means clustering algorithm)
在聚类的问题中,我们得到了一组训练样本集 {x(1),...,x(m)}\{x(1), ..., x(m)\}{x(1),...,x(m)},然后想要把这些样本划分成若干个相关的“类群(clusters)”。其中的 x(i) ∈ Rn,而并未给出分类标签 y(i) 。所以这就是一个无监督学习的问题了。K 均值聚类算法如下所示:随机初始化(initialize)聚类重心(cluster cen...原创 2019-01-16 11:39:44 · 622 阅读 · 0 评论 -
第十一讲:独立成分分析(Independent Components Analysis )
接下来我们要讲的主体是独立成分分析(Independent Components Analysis,缩写为 ICA)。这个方法和主成分分析(PCA)类似,也是要找到一组新的基向量(basis)来表征(represent)样本数据。然而,这两个方法的目的是截然不同的。还是先用“鸡尾酒会问题(cocktail party problem)”为例。在一个聚会场合中,有 n 个人同时说话,而屋子里的任意...原创 2019-01-25 15:09:42 · 2604 阅读 · 0 评论 -
第八讲:期望最大化算法(EM algorithm)
在前面的若干讲义中,我们已经讲过了期望最大化算法(EM algorithm),使用场景是对一个高斯混合模型进行拟合(fitting a mixture of Gaussians)。在本章里面,我们要给出期望最大化算法(EM algorithm)的更广泛应用,并且演示如何应用于一个大系列的具有潜在变量(latent variables)的估计问题(estimation problems)。我们的讨论...原创 2019-01-20 17:03:14 · 1864 阅读 · 1 评论 -
第十讲:主成分分析(Principal components analysis)
前面我们讲了因子分析(factor analysis),其中在某个 kkk 维度子空间对 x∈Rnx ∈ R^nx∈Rn 进行近似建模,kkk 远小于 nnn,即 k≪nk ≪ nk≪n。具体来说,我们设想每个点 x(i)x^{(i)}x(i) 用如下方法创建:首先在 kkk 维度仿射空间(affine space) Λz+μ;z∈Rk{Λz + μ; z ∈ R^k}Λz+μ;z∈Rk 中生成某...原创 2019-01-25 11:14:47 · 2321 阅读 · 0 评论 -
第六讲:感知器(perceptron)和大型边界分类器(large margin classifiers)
本章是讲义中关于学习理论的最后一部分,我们来介绍另外机器学习模式。在之前的内容中,我们考虑的都是批量学习的情况,即给了我们训练样本集合用于学习,然后用学习得到的假设 h 来评估和判别测试数据。在本章,我们要讲一种新的机器学习模式:在线学习,这种情况下,我们的学习算法要在进行学习的同时给出预测。学习算法会获得一个样本序列,其中内容为有次序的学习样本,(x(1),y(1)),(x(2),y(2)),...原创 2019-01-09 11:07:08 · 1194 阅读 · 0 评论 -
第九讲:因子分析(Factor analysis)
如果有一个多个高斯模型混合(a mixture of several Gaussians)而来的数据集 x(i)∈Rnx^{(i)} ∈ R^nx(i)∈Rn ,那么就可以用期望最大化算法(EM algorithm)来对这个混合模型(mixture model)进行拟合。这种情况下,对于有充足数据(sufficient data)的问题,我们通常假设可以从数据中识别出多个高斯模型结构(multip...原创 2019-01-24 18:40:45 · 3024 阅读 · 0 评论 -
第五讲:正则化与模型选择(Regularization and model selection)
设想一个机器学习的问题,我们要从一系列不同的模型中进行挑选。例如,我们可能是用一个多项式回归模型 (polynomial regression model) hθ(x)=g(θ0+θ1x+θ2x2+⋯+θkxk)h_\theta (x)=g(\theta_0+\theta_1x+\theta_2x^2+\cdots+\theta_kx^k)hθ(x)=g(θ0+θ1x+θ2x2+⋯+θk...原创 2019-01-05 21:36:18 · 3284 阅读 · 1 评论 -
第四讲:学习理论(Learning Theory)
1 偏差/方差的权衡(Bias/variance tradeoff )在讲线性回归的时候,我们讨论过这样的问题:拟合数据的时候,选择线性的“y=θ0+θ1xy = \theta_0 +\theta_1xy=θ0+θ1x”这样的“简单”模型,还是选择多项式的“y=θ0+θ1x+...+θ5x5y= \theta_0 + \theta_1x+ ...+\theta_5x^5y=θ0+θ1x+...原创 2019-01-04 14:43:34 · 3549 阅读 · 1 评论 -
第三讲:支持向量机(Support Vector Machines)
本章的讲义主要讲述的是 支持向量机( Support Vector Machine ,缩写为 SVM) 学习算法。SVM 算得上是现有的最好的现成的(“off-the-shelf”)监督学习算法之一,很多人实际上认为这里没有“之一”这两个字的必要,认为 SVM 就是最好的现成的监督学习算法。讲这个 SVM 的来龙去脉之前,我们需要先讲一些关于边界的内容,以及对数据进行分割成大的区块(gap)的思路...原创 2018-12-29 17:10:44 · 364 阅读 · 0 评论 -
第二讲:生成学习算法
目前为止,我们讲过的学习算法的模型都是p(y∣x;θ)p (y|x;\theta)p(y∣x;θ),也就是给定 x 下的 y 的条件分布,以 θ\thetaθ 为参数。例如,逻辑回归中就是以 hθ(x)=g(θTx)h_\theta(x) = g(\theta^T x)hθ(x)=g(θTx) 作为 p(y∣x;θ)p (y|x;\theta)p(y∣x;θ) 的模型,这里的 g 是一个 S型函...原创 2018-12-21 16:25:06 · 741 阅读 · 0 评论 -
第一讲:监督学习之回归方法
前言我认为阅读英文材料,自己理解之后转化为中文,不仅可以检验自己理解的熟练程度,也能锻炼自己阅读水平。我主要以CS229课程内容为主线,介绍课程相关,供大家一起交流学习。主要内容线性回归分类和逻辑回归广义线性模型监督学习的实例介绍 假设我们拥有数据集(房屋面积与价格)如表1.1所示表1.1 房屋面积与价格hθ(x)=θ0+θ1x1+θ2x2h_\theta\left( ...原创 2018-12-16 14:14:23 · 1359 阅读 · 1 评论 -
第七章 支持向量机(SVM)
1.1 支持向量机1.1.1 定义支持向量机(support vector machine)是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器间隔最大使它有别于感知机。支持向量机的学习策略是间隔最大化,支持向量机的学习算法是求解凸二次规划的最优化算法。 1.1.2 支持向量在求解的过程中,会发现只根据部分数据就可以确定分类器,这些数据称为支持向量。1.1.3...原创 2018-11-19 16:32:14 · 266 阅读 · 0 评论 -
GBDT:梯度提升决策树
综述GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regression Tree),是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。 GBDT中的树是回归树(不是分类树),GBDT用来做回归预测,调整后也可以用于分类。 ...原创 2019-02-18 21:20:55 · 240 阅读 · 0 评论