MachineLearning
クロネコ黒猫
这个作者很懒,什么都没留下…
展开
-
【机器学习】讨论SGD,BGD和牛顿法在逻辑回归中的效果
因为随机梯度下降,批梯度下降和牛顿法都可以用在线性回归中,所以想比较一下三者的效果。原理:SGD,BGD:https://blog.csdn.net/cyr429/article/details/102300105牛顿法:https://blog.csdn.net/cyr429/article/details/102624860先放出来原数据的散点图:需要原数据的:http...原创 2019-11-15 19:14:14 · 287 阅读 · 0 评论 -
【CS229机器学习】 Lecture7:最优裕度分类器(最优间隔分类器),拉格朗日对偶,KKT条件,SVM支持向量机
接上次:https://blog.csdn.net/cyr429/article/details/1030082034. 最优裕度分类器-上给出一组训练集,基于之前的讨论我们很自然的会去找一个决策边界线使得几何裕度最大,因为这样的决策线体现了我们对于分类的信心很强同时也是原数据很好的拟合。这样做的结果是一个用沟壑把正样本和负样本分开的分类器。目前我们先假设数据是线性可分的,也就是数据一...原创 2019-11-15 18:02:51 · 424 阅读 · 0 评论 -
【CS229机器学习】 Lecture6:多项事件模型与文本分类,关于SVM的函数裕度与几何裕度
接上次:https://blog.csdn.net/cyr429/article/details/1028730312.3 多项事件模型与文本分类之前讨论了将朴素贝叶斯运用于多元伯努利分布来实现文本分类的问题,但是这个模型有个问题就是不会统计某个词在一封邮件中出现的次数,所以我们考虑另一种模型。首先改变的是表示一封邮件的方式,之前我们用0011000...这样的布尔向量表达一封邮件,序...原创 2019-11-11 16:17:18 · 331 阅读 · 0 评论 -
【CS229机器学习】 Lecture5:生成学习算法,生成模型,高斯判别分析模型,多元高斯分布,朴素贝叶斯,拉普拉斯平滑
接上次:https://blog.csdn.net/cyr429/article/details/102624860Part4:生成算法模型至今给出的算法都是求在theta为参数条件下给出x的y的概率,比如逻辑回归和线性回归,现在要讨论一种不太一样的算法。假设有一个分类问题要我们基于一些特征区别大象(y=1)和狗(y=0)。如果有一系列的训练集,逻辑回归或者感知机算法会试图找出一个分界...原创 2019-11-07 14:58:01 · 311 阅读 · 0 评论 -
【CS229机器学习】作业 Problem Set #1 有监督学习
本次的作业包含了逻辑回归,指数族函数,高斯判别分析和weighted linear regression的考察,并且有两个数据集供分析。作业原题链接:https://github.com/cyr429/Machine-Learning-master/blob/master/CS229/ps1/ps1.pdf数据集链接:https://github.com/cyr429/Machine-Le...原创 2019-11-07 12:32:25 · 3140 阅读 · 4 评论 -
【CS229机器学习】 Lecture2:各种记号,监督学习,线性回归,最小均方差,正规方程
写在前面因为看的是英文版所以不能准确翻译的请见谅。先说记号,指输入features,指输出或目标值target,一对(,)是一个训练样本training example,训练集training set则是这样的i对样本组成的集合。对于一个监督学习算法,他的目的是通过一个训练集学到一个方程,输入一个x得到一个比较接近真实的y的预测prediction,这个方程 h 被成为一个猜测hyp...原创 2019-10-07 15:16:44 · 356 阅读 · 0 评论 -
【CS229机器学习】 Lecture3:正规方程的概率论解释,局部加权线性回归,过拟合,欠拟合,逻辑回归,分类问题
接上次:https://blog.csdn.net/cyr429/article/details/1023001053.概率论解释Probabilistic interpretation这部分要解决的问题是解释为什么代价函数:的选择是合理有效的,为什么最小二乘回归是一个自然而然的算法。我们先假设目标值(也就是数据集里的输出)和输入的关系定义为以下关系式:在这里epsil...原创 2019-10-10 13:57:31 · 271 阅读 · 0 评论 -
【CS229机器学习】作业 Problem Set #0 线性代数和多变量计算
原题链接:http://cs229.stanford.edu/materials/ps0.pdf(如果链接过期麻烦通知一下我)第一题第二题第三题如果有什么疑问或者错误请在留言中指出。以上。...原创 2019-10-11 15:00:14 · 1279 阅读 · 2 评论 -
【CS229机器学习】 Lecture4:牛顿法,广义线性模型,指数族分布,Softmax回归
接上次:https://blog.csdn.net/cyr429/article/details/102458430最近开组会耽误了一些进度。6.题外话:感知机算法这一部分在公开的课程视频中并没有讲到,我只能按我的理解来说了。如果我们强迫逻辑回归的输出为0或1,会“自然而然”地使用阈值函数代替原来的g(z):如果我们再结合前面使用过的,我们会得到一个新的参数更新规则:...原创 2019-10-24 15:35:08 · 353 阅读 · 0 评论 -
【机器学习】实战逻辑回归模型
今天大概看了一下还没做的ps1,里面第一个道题的数据集正好可以拿来做一次逻辑回归的实战,正好学到现在还没正儿八经写过代码,所以打算拿这个练练手,具体数据集我新建了一个GitHub账号给大家分享,里面也有详细的代码和一些思路:https://github.com/cyr429/Machine-Learning-master/tree/master/ML-others/LogisticRegres...原创 2019-10-30 12:12:26 · 191 阅读 · 0 评论