机器学习笔记
文章平均质量分 85
江米江米
我的十八岁,每天为深度学习流眼泪。
展开
-
小闹钟的机器学习笔记(1)
机器学习机器学习的目的是给出能自动识别数据模式的策略,并使用研究出的模式对数据或其他输出进行预测。目前机器学习主要分为以下两种类型:监督学习 又称为预测学习,目的是在给定输入输出的情况下,研究从输入x到输入y的演变方法。 输入x中包含的内容又称为属性、特征或者变量。x可以为很复杂的一个结构对象,比如说一张图片、一个句子、一段邮件等 同样地,它的输出y也可以是任何类型。当y具有类...原创 2018-07-30 18:58:26 · 272 阅读 · 0 评论 -
小闹钟的机器学习笔记(4)
牛顿方法要求f(x)=0时对应的x值,先假设出一个x((0)),对其对应的函数值作切线,相交x轴于第二个点x((1)),如此反复,就可以逐渐逼近要求的点。其实delta表示((0))到x((1))的距离,对应点的倒数为高度除以距离。 这样就完成了牛顿方法的一次迭代。要使得找到某点,使得该点对应的函数值最大,则需要使其对应的导数为0。 因此把其导函数l’(x)定位为f(x),则得...原创 2018-08-03 12:44:20 · 180 阅读 · 0 评论 -
小闹钟的机器学习笔记(7)
本次学习内容为cs229第七节最优间隔分类器几何距离表示样本和超平面上的距离,它有方向。最小距离称为最坏情况,因为我们希望距离能尽可能大。 将参数按倍数扩大,并不会影响几何距离。因为不会影响超平面的位置。 1. 最优化目标为几何距离。求解参数,使得其中||w||=1,使得几何距离=函数距离。 这个约束是个糟糕的非凸性约束,我们需要避免。2. 最优化目标为函数距离...原创 2018-08-07 11:43:59 · 214 阅读 · 0 评论 -
小闹钟的机器学习笔记(3)
本次学习内容为css299第三节欠拟合与过拟合输入的特征由我们自行进行选择,并且对学习算法有着较大的影响。 在有n组训练样本的情况下,最多可以得到一个n-1次多项式。从完美拟合所有训练数据的意义上说,这个模型效果很好,但是并不具有实际意义。 选用多项式的次数过低称为欠拟合,过高称为过拟合。 欠拟合是指模型拟合程度不高,数据距离拟合曲线较远,或指模型没有很好地捕捉到数据特征,...原创 2018-08-02 11:12:07 · 190 阅读 · 0 评论 -
小闹钟的机器学习笔记(2)
本次学习内容为cs229第二节监督学习与梯度下降给定一个经过训练的数据组,如何找出其中的变化规律?x用来表示输入变量,也称为特征。 y用来表示输出变量,或者目标变量。(x,y)为一组数据。 给定一个训练集合,和一个学习算法,会生成一个结果h,这个h我们成为假设。这个假设的任务就是将输入x映射到输出y。为了设计学习算法,我们第一步要做的就是为h作一个设定,即通过x来表示h...原创 2018-08-01 20:59:25 · 180 阅读 · 0 评论 -
小闹钟的机器学习笔记(8)
本次学习内容为cs229第八节回顾首先回顾上一节提到的优化问题:对于这个问题,给定一个训练集合,这个问题的算法会找到一个数据几何的最优距离分类器,使得训练样本的几何间隔最大化。我们推出这个问题的对偶问题。我们同样求出参数w应该满足以下式子。g是个阈值函数,输出为0或1。核比如说有一个输入属性或者一个实数x,通常将x映射到多个特征上。如果想使用映射后的...原创 2018-08-10 13:48:15 · 148 阅读 · 0 评论 -
小闹钟的机器学习笔记(6)
本次学习内容为cs229第六节朴素贝叶斯算法回顾朴素贝叶斯是一个生成学习算法,这意味着这个算法是对着P(x|y)建模。 在检测垃圾邮件的算法中:在这个模型中,所有特征的取值只能为0或1。 针对这个算法有两种变化:1. x可以取k个值而非仅两个值。在构建的模型P(x|y)中,x不再是个伯努利分布,而是多项式分布。一个常见的情况是讲一个要取连续值的特征变成取离散的多个值...原创 2018-08-06 11:56:16 · 217 阅读 · 0 评论 -
小闹钟的机器学习笔记(5)
本次学习内容为cs229第五节生成学习算法逻辑回归的工作是观察数据并寻找到一条直线将两类数据尽可能好地隔开。 除了使用一条线将数据分类外,我们也可以通过遍历数据建立模型,对新数据进行检测看它更符合哪个模型的特征。 这种方法称为生成学习算法。判别学习算法一般有两类: 1. 直接学习P(y|x)。 2. 学习一个假设,直接输出0或1。 生成学习算法则用来对P(x|y)进行...原创 2018-08-05 12:43:57 · 333 阅读 · 0 评论 -
小闹钟的机器学习笔记(9)
本次学习内容为cs229第八节偏差-方差权衡如果用一条直线去拟合非线性的数据,可能会表示地不太令人满意,这种现象称为欠拟合【之前提到过】,我们会说这种算法偏差很高。 如果用四次多项式去表示一个二次的数据,就会出现过拟合,或者是这个算法的算法很高,算法会拟合出了数据中一些奇怪的规律或者怪异的属性。- 线性分类器我们要强制logistic回归算法输出0或1作为类标签。这个分类...原创 2018-08-09 12:25:48 · 187 阅读 · 0 评论 -
使用大规模无监督学习建立高层特征
使用大规模无监督学习建立高层特征摘要我们从未标记的数据中建立高层的分类明确的特征的检测器。比如说,可不可以从一些未标记的图片中学习人脸识别呢?为了回答这个问题,我们训练了一个稀疏的自编码器在大量的图片集合上(这个模型大概有一亿个连接,数据集包括了一千万个200x200的像素图片)。我们使用并行模型和异步SGD训练了三天这个网络。和公认的猜测相反的是,我们的实验得出用大量无标记的图像也能训练出一...翻译 2018-09-17 22:14:50 · 264 阅读 · 0 评论