Machine Learning
文章平均质量分 60
Eunice_33
这个作者很懒,什么都没留下…
展开
-
Andrew Ng机器学习笔记(三)——牛顿算法
复习:Logistic回归:分类算法假设给定x以为参数的y=1和y=0的概率:求对数似然性:对其求偏导数,应用梯度上升方法,求得。本次课程介绍的牛顿方法是一种比梯度上升快很多的方法,用于拟合Logistic回归推导图:当要求解f(θ) = 0时,如原创 2015-01-07 10:57:22 · 1289 阅读 · 0 评论 -
Andrew Ng机器学习笔记(二):多变量线性回归
对于一个监督学习模型来说,过小的特征集合使得模型过于简单,过大的特征集合使得模型过于复杂。对于特征集过小的情况,称之为欠拟合(underfitting);对于特征集过大的情况,称之为过拟合(overfitting) 解决此类学习问题的方法:1) 特征选择算法:一类自动化算法,在这类回归问题中选择用到的特征2) 非参数学习算原创 2015-01-05 18:45:54 · 1033 阅读 · 0 评论 -
Andrew Ng机器学习笔记(一):梯度下降法
假设线性回归方程为:y为实际值,为了使得拟合最佳,则要实现:注:1/2是为了计算方便,无实际意义。顾引入了梯度下降法,使得每一步都是向下降速度最快的那个方向,而最终也一定会收敛。(获得的是局部最优)原创 2015-01-05 14:27:52 · 2215 阅读 · 0 评论 -
Andrew Ng机器学习笔记(四)——GLM广义线性模型
指数分布族:若y属于实数,满足高斯分布,得到基于最小二乘法的线性回归;若y取{0,1},满足伯努利分布,得到Logistic回归。高斯分布和伯努利分布都是指数分布族的特例。下面说明以上两种都是GLM的特例指数分布族:如果它的概率分布可以表示为下面的形式:一般来说,T(y)=y,改变η可以得到不同的概率分布。证明伯努利分布是指数分布族:即:原创 2015-01-07 11:02:43 · 2298 阅读 · 0 评论 -
Andrew Ng机器学习笔记(五)——生成学习算法和朴素贝叶斯算法
1、生成学习算法之前讲的回归模型属于判别模型,今天引入新的模型——生成学习算法:对训练集建立两个概率模型,测试特征代入两个模型比较哪个模型的最终概率高来判断类别(而不是计算出两个概率,而是比较两个概率)利用贝叶斯概率得到两个模型的统一性:对p(x|y)和p(y)建模后,根据贝叶斯公式p(y|x) = p(xy)/p(x) = p(x|y)p(y)/p(x),其中,p(x) = p(原创 2015-01-10 22:04:39 · 2772 阅读 · 1 评论 -
统计学习方法笔记(一)——统计学习的基本概念
统计学习的三要素:方法 = 模型 + 策略 + 算法1、模型模型就是要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。空间用F表示,假设空间可以定义为决策函数的集合,即:F通常是由一个参数向量来决定的条件概率分布族2、策略有了模型的假设空间,则要考虑选择什么准则学习或者说是选择最优的模型。则引入了损失函数和风险函数。损失原创 2015-01-15 19:02:04 · 1169 阅读 · 0 评论 -
统计学习方法笔记(二)感知机学习
感知机是二类分类模型,输出值为-1,1,为判别模型输入空间到输出空间的函数如下:w叫权值,b叫偏置。即求出一个超平面把特征空间分成两部分,使两部分分别被分为正负两类,为分离超平面。如图:应用条件:数据集是线性可分的,存在使得数据集都能正确的划分在超平面的两侧。损失函数:对于误分类的数据:误分类点到超平面的距离:原创 2015-01-15 22:55:12 · 1333 阅读 · 0 评论 -
统计学习方法笔记(三):K近邻法
一、基本概念k近邻法(k nearest neighbor, k-NN)是一种基本的分类和回归方法,简单、直观。当用来分类时,给定一个训练集,对于新输入实例,找到最近的k个训练样例,然后根据训练样例确定新样例的分类。k近邻法的三个基本要素:距离度量、K值、分类决策规则。1、距离度量:不同距离度量方法导致结果不同。2、k值的选择k值的选择对于算法的结果有很大的影响,如原创 2015-01-23 22:04:07 · 866 阅读 · 0 评论