机器学习
文章平均质量分 59
elden_nie
这个作者很懒,什么都没留下…
展开
-
Lesson 1 学习问题
这是加州理工学院的《机器学习与数据挖掘》的公开课的第一讲:学习问题。整节课从下面五个方面进行,(1)机器学习的例子,(2)学习的构成,(3)一个简单的模型,(4)学习的类型,(5)一道思考题。1、机器学习的例子:预测观众会如何评价一部电影原创 2015-04-29 09:54:12 · 494 阅读 · 0 评论 -
斯坦福《机器学习》Lesson7感想———1、最优间隔分类器
从上一课可知,对于给定的线性可分的数据集,离分隔超平面最近的点是支持向量。而支持向量与分隔超平面间的距离越远,则说明最后算法的预测结果越可信。这课的核心就在于如何确定最佳的分隔超平面,即最优间隔分类器。首先我们要介绍其中的数学推理,然后介绍最优间隔分类器。1、凸优化问题 选取一个函数里的两个点,连接两个点成一条直线,两点间的函数点都在这条直线下即为凸函数,凸函数的例子有指数函数。原创 2015-07-24 18:33:14 · 1364 阅读 · 0 评论 -
斯坦福《机器学习》Lesson6感想———1、函数间隔和几何间隔
这一课主要是从如何判断一个机器学习分类算法里拟合的参数是最佳参数引出函数间隔和几何间隔的定义。 1、函数间隔 假设假想函数,,那么可以知道y=1;反之则y=0 。所以当,我们可以很确定的认为y=1;当,可以很确定地认为y=0。所以在分类算法中,我们在训练样本时得到这两个结果的时候,就可以知道选择的参数能很好的拟合数据,能很有自信地认为我们的分类器是符合数据事实的。因此我们数据原创 2015-07-24 15:20:45 · 4848 阅读 · 0 评论 -
斯坦福《机器学习》Lesson5感想———2、朴素贝叶斯算法
朴素贝叶斯算法与上篇中写到到生成学习算法的思想是一致的。它不需要像线性回归等算法一样去拟合各种假设的可能,只需要计算各种假设的概率,然后选择概率最高的那种假设分类类别。其中还添入了一个贝叶斯假定:在给定目标值y时属性值x之间相互独立。这样的分类算法被称为朴素贝叶斯分类器(Naive Bayes classifier) 。1、朴素贝叶斯算法 在朴素贝叶斯算法的模型里,给定的训练集为,原创 2015-07-24 10:24:31 · 1044 阅读 · 0 评论 -
斯坦福《机器学习》Lesson5感想———1、成学习算法
在前面几课里的学习算法的思路都是给定数据集以后,确定基于此数据集的最佳假设H函数,通过学习算法确定最佳假设H的各个参数,然后通过最佳假设函数H得出新的数据集的结果。在这一课里介绍了一种新的思路,它的核心思想是直接计算各种假设的最高概率,然后拟合各个假设的最高概率参数,并利用拟合得到的假设概率,计算出新的数据集的概率,选取概率最高的假设直接得出分类类别。 整个生成学习算法的精髓在于条件概率原创 2015-07-24 08:51:08 · 1000 阅读 · 0 评论 -
斯坦福《机器学习》Lesson4感想--1、Logistic回归中的牛顿方法
在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ,从而确定f(θ)。本篇将介绍另一种求解最大似然概率ℓ(θ)的方法,即牛顿迭代法。在牛顿迭代法中,假设一个函数是,求解θ值使得f(θ)=0。在图1中可知,图1选择一个点,对应函数值为,并将对应的切线与x轴相交的点记为,所以 ,依此类推可知牛顿迭代规律。 为了求得最大似然概率ℓ(θ),让,原创 2015-07-07 16:02:07 · 972 阅读 · 0 评论 -
斯坦福《机器学习》Lesson1-3感想-------3、线性回归二
从上一篇可知,在监督学习里最重要的就是确定假想函数h(θ),即通过使得代价函数J(θ)最小,从而确定h(θ).上一篇通过梯度下降法求得J(θ)最小,这篇我们将使用矩阵的方法来解释。 1、普通最小二乘法利用矩阵的方式,m个训练集(x,y)可以如下表示:因此,所以根据 可知,为使J(θ)最小,通过求导推导可得:原创 2015-07-02 11:05:39 · 1153 阅读 · 0 评论 -
斯坦福《机器学习》Lesson1-3感想-------4、Logistic回归
回归就是根据已有的数据点,用一条线对这些点进行拟合。而利用Logistic回归的核心思想是根据现有数据点对分类边界线建立回归公式,以此进行分类。训练分类时要做的就是找到最佳拟合参数,使用的是最优化算法。分类算法针对的一般是离散型的数据集。这里我们讨论的是一个二元分类的问题。而一般输出0或者1的函数是Sigmoid函数。Sigmoid函数的具体计算公式如下:因此可知:1、原创 2015-07-03 17:08:20 · 522 阅读 · 0 评论 -
斯坦福《机器学习》Lesson1-3感想-------2、线性回归
监督学习的主要任务是预测目标变量的值,而且一般已经已知一些目标变量y。所以通常假设函数会根据训练集(x,y)设为:基于已知的训练集,我们应该如何确定θ的值。一般我们认为h(x)与y值的越接近,θ的值越好。因此定义了代价函数:所以θ的值可以通过最小化代价函数来确定。1、LMS(Least Mean Square)算法 为了让J(θ)最小,我们可原创 2015-07-01 20:49:50 · 560 阅读 · 0 评论 -
斯坦福《机器学习》Lesson1-3感想-------1、机器学习的基本定义
机器学习就是把无序的数据转换成有用的信息。机器学习一般包括训练集、学习算法、目标变量、假设函数。目标变量是机器学习的预测结果。如图1所示,在训练集上结合目标变量,利用学习算法不断学习,使得假设函数h能够解释(x,y)之间的关系。 图1 机器学习的算法分类如图2所示。图2 机器学习的分类在使用机器学习算法中,如果想要预测变量的值,则可以选择监督学习算法。否则可以选择无原创 2015-07-01 20:03:08 · 570 阅读 · 0 评论 -
斯坦福《机器学习》Lesson4感想-------2、广义线性模型
在前面几篇中分类问题和回归问题里涉及到的伯努利分布和高斯分布都是广义线性模型(Generative Linear Models.GLMs)的特例。下面将详细介绍广义线性模型。 1、指数族我们可以将一些分布总结到一个指数族中。指数族可表示为:η是指naturalparameter/canonical parameter,T (y)是指sufficientstatistic原创 2015-07-07 18:58:50 · 893 阅读 · 0 评论 -
斯坦福《机器学习》Lesson8感想-------1、SMO
从上一篇文章可知支持向量(supervector)就是指的离分隔超平面最近的那些点。整个SVM最需要的步骤是训练分类器,得到alpha,从而得到整个用于数据分类的分隔超平面。支持向量机(super vector machine,SVM)的一般应用流程如下:(1) 收集数据:可以使用任意方法(2) 准备数据:需要数值型数据(3) 分析数据:有助于可视化分隔超原创 2015-08-06 14:23:08 · 983 阅读 · 0 评论