机器学习ML
文章平均质量分 91
机器学习
Zhao-Jichao
这个作者很懒,什么都没留下…
展开
-
第十八章 应用举例:照片OCR-机器学习老师板书-斯坦福吴恩达教授
第十八章 应用举例:照片OCR18.1 问题描述18.2 滑动窗口18.3 获取更多数据:人工数据分析18.4 上限分析18.1 问题描述18.2 滑动窗口18.3 获取更多数据:人工数据分析18.4 上限分析...原创 2020-04-12 16:07:22 · 374 阅读 · 0 评论 -
第十七章 大规模机器学习-机器学习老师板书-斯坦福吴恩达教授
第十七章 大规模机器学习17.1 大数据集学习17.2 随机梯度下降17.3 mini-batch 梯度下降17.4 随机梯度下降收敛17.5 在线学习17.6 减少映射与数据并行17.1 大数据集学习17.2 随机梯度下降17.3 mini-batch 梯度下降17.4 随机梯度下降收敛17.5 在线学习17.6 减少映射与数据并行...原创 2020-04-12 16:01:36 · 371 阅读 · 0 评论 -
第十六章 推荐系统-机器学习老师板书-斯坦福吴恩达教授
第十六章 推荐系统16.1 问题规划16.2 基于内容的推荐系统16.3 协同过滤16.4 协同过滤算法16.5 向量化:低秩矩阵分解16.6 实现细节:均值规范化16.1 问题规划16.2 基于内容的推荐系统16.3 协同过滤16.4 协同过滤算法16.5 向量化:低秩矩阵分解16.6 实现细节:均值规范化...原创 2020-04-12 15:55:19 · 345 阅读 · 0 评论 -
第十五章 异常检测-机器学习老师板书-斯坦福吴恩达教授
第十五章 异常检测15.1 问题动机15.2 高斯分布15.3 算法15.4 完善和评估一个异常检测系统15.5 异常检测 vs 监督学习15.6 选择使用的特征15.7 多元高斯分布15.8 使用多元高斯分布的异常检测15.1 问题动机15.2 高斯分布15.3 算法15.4 完善和评估一个异常检测系统15.5 异常检测 vs 监督学习15.6 ...原创 2020-04-12 15:49:13 · 493 阅读 · 0 评论 -
第十四章 降维操作-机器学习老师板书-斯坦福吴恩达教授
第十四章 降维14.1 目标一:数据压缩14.2 目标二:可视化14.3 主成分分析14.4 主成分分析算法14.5 选择主成分数量14.6 压缩重建14.7 使用PCA的建议14.1 目标一:数据压缩14.2 目标二:可视化14.3 主成分分析14.4 主成分分析算法14.5 选择主成分数量14.6 压缩重建14.7 使用PCA的建...原创 2020-04-12 15:41:24 · 392 阅读 · 0 评论 -
第十三章 簇-机器学习老师板书-斯坦福吴恩达教授
第十三章 簇13.1 无监督学习介绍13.2 K-均值算法13.3 优化目标13.4 随机初始化13.5 选择簇的数量13.1 无监督学习介绍13.2 K-均值算法13.3 优化目标13.4 随机初始化13.5 选择簇的数量...原创 2020-04-12 15:31:21 · 404 阅读 · 0 评论 -
第十二章 支持向量机-机器学习老师板书-斯坦福吴恩达教授
第十二章 支持向量机12.1 优化对象12.2 大间隔的直观理解12.3 大间隔分类器的数学原理12.4 核函数一12.5 核函数二12.6 使用SVM12.1 优化对象12.2 大间隔的直观理解12.3 大间隔分类器的数学原理12.4 核函数一12.5 核函数二12.6 使用SVM...原创 2020-04-12 15:25:29 · 302 阅读 · 0 评论 -
第十一章 机器学习系统设计-机器学习老师板书-斯坦福吴恩达教授
第十一章 机器学习系统设计11.1 确定执行的优先级:垃圾邮件分类例子11.2 误差分析11.3 不对称分类的误差评估11.4 精准率和召回率的权衡11.5 机器学习数据11.1 确定执行的优先级:垃圾邮件分类例子11.2 误差分析11.3 不对称分类的误差评估11.4 精准率和召回率的权衡11.5 机器学习数据...原创 2020-04-12 15:18:17 · 348 阅读 · 0 评论 -
第十章 使用机器学习的建议-机器学习老师板书-斯坦福吴恩达教授
使用机器学习的建议10.1 决定下一步做什么10.2 评价假设10.3 模型选择和训练集验证集测试集10.4 诊断偏差 vs 方差10.5 正则化和偏差方差10.6 学习曲线10.7 决定下一步做什么10.1 决定下一步做什么10.2 评价假设10.3 模型选择和训练集验证集测试集10.4 诊断偏差 vs 方差10.5 正则化和偏差方差10...原创 2020-04-12 15:11:48 · 313 阅读 · 0 评论 -
第九章 神经网络学习-机器学习老师板书-斯坦福吴恩达教授
第九章 神经网络学习9.1 代价函数9.2 反向传播算法9.3 反向传播直观理解9.4 使用注意:展开参数9.5 梯度检测9.6 随机初始化9.7 聚在一起9.8 反向传播例子:自动驾驶9.1 代价函数9.2 反向传播算法9.3 反向传播直观理解9.4 使用注意:展开参数9.5 梯度检测9.6 随机初始化9.7 聚在一起...原创 2020-04-12 15:04:09 · 387 阅读 · 0 评论 -
第八章 神经网络表示-机器学习老师板书-斯坦福吴恩达教授
神经网络表示8.1 非线性假设8.2 神经元和大脑8.3 模型展示一8.4 模型展示二8.5 例子和直觉理解一8.6 例子和直觉理解二8.7 多元分类8.1 非线性假设8.2 神经元和大脑8.3 模型展示一8.4 模型展示二8.5 例子和直觉理解一8.6 例子和直觉理解二8.7 多元分类...原创 2020-04-12 14:55:24 · 321 阅读 · 0 评论 -
第七章 正则化-机器学习老师板书-斯坦福吴恩达教授
正则化7.1 过拟合问题7.2 代价函数7.3 线性回归正则化7.4 Logistic 回归正则化7.1 过拟合问题7.2 代价函数7.3 线性回归正则化7.4 Logistic 回归正则化...原创 2020-04-12 14:47:56 · 344 阅读 · 0 评论 -
第六章 逻辑回归-机器学习老师板书-斯坦福吴恩达教授
第六章 逻辑回归6.1 分类器6.2 假设陈述6.3 决策边界6.4 代价函数6.5 简化代价函数与梯度下降6.6 高级优化6.7 多元分类:一对多6.1 分类器6.2 假设陈述6.3 决策边界6.4 代价函数6.5 简化代价函数与梯度下降6.6 高级优化6.7 多元分类:一对多...原创 2020-04-11 21:54:12 · 330 阅读 · 0 评论 -
第五章 Octave 教程-机器学习老师板书-斯坦福吴恩达教授
第五章 Octave教程5.1 基本操作5.2 移动数据5.3 计算数据5.4 绘制数据5.5 控制语句 :for, while, if 语句5.6 矢量实现5.1 基本操作5.2 移动数据5.3 计算数据5.4 绘制数据5.5 控制语句 :for, while, if 语句5.6 矢量实现...原创 2020-04-11 21:44:37 · 333 阅读 · 0 评论 -
第四章 多变量线性回归-机器学习老师板书-斯坦福吴恩达教授
第四章 多变量线性回归4.1 多功能4.2 多变量的梯度下降4.3 梯度下降实践一:特征缩放4.4 梯度下降实践二:学习率4.5 特征和多项式回归4.6 正规方程(区别于迭代方法的直接求法)4.7 正规方程在矩阵不可逆情况下的解决办法4.1 多功能4.2 多变量的梯度下降4.3 梯度下降实践一:特征缩放4.4 梯度下降实践二:学习率4.5 特征和多项式回...原创 2020-04-11 21:40:05 · 499 阅读 · 0 评论 -
第三章 线性代数回顾-机器学习老师板书-斯坦福吴恩达教授
第三章 线性代数回顾3.1 矩阵和向量3.2 加法和标量乘法3.3 矩阵向量乘法3.4 矩阵乘法3.5 矩阵乘法特征3.6 逆和转置3.1 矩阵和向量3.2 加法和标量乘法3.3 矩阵向量乘法3.4 矩阵乘法3.5 矩阵乘法特征3.6 逆和转置...原创 2020-04-11 21:28:45 · 362 阅读 · 0 评论 -
第二章 单变量线性回归-机器学习老师板书-斯坦福吴恩达教授
第二章 单变量线性回归2.1 模型描述2.2 代价函数2.3 代价函数(一)2.4 代价函数(二)2.5 梯度下降2.6 梯度下降知识点2.7 线性回归的梯度下降2.1 模型描述2.2 代价函数2.3 代价函数(一)2.4 代价函数(二)2.5 梯度下降2.6 梯度下降知识点2.7 线性回归的梯度下降...原创 2020-04-11 21:17:42 · 387 阅读 · 0 评论 -
第一章 介绍-机器学习老师板书-斯坦福吴恩达教授
第一章 介绍1.1 欢迎1.2 什么是机器学习1.3 监督学习1.4 无监督学习1.1 欢迎1.2 什么是机器学习1.3 监督学习1.4 无监督学习原创 2020-04-11 21:03:40 · 477 阅读 · 0 评论 -
零 目录-机器学习老师板书-斯坦福吴恩达教授
目录-机器学习PPT斯坦福课程本书章节Part 1介绍 IntroductionPart 2单变量线性回归 Linear Regression with one variablePart 3线性代数摘要 Linear Algebra ReviewPart 4多变量线性回归 Linear Regression with Multiple Variabl...原创 2020-04-11 20:52:59 · 425 阅读 · 0 评论 -
11.4 上限分析-机器学习笔记-斯坦福吴恩达教授
上限分析(Ceiling analysis)光学字符识别并不是一个单一的过程,而是由若干过程构成的流水线。我们知道,字符识别作为该流水线的出口,其将是衡量光学字符识别准确率的依据。工程浩瀚,我们不可能在流水线的每一步都花费巨额的精力来作出改善,因此,我们需要一种手段来知道去改善哪一步是最值得的,**上限分析(Ceiling analysis)**就是手段之一。所谓上限分析,就是我们假定某个组...原创 2020-03-28 17:04:06 · 857 阅读 · 0 评论 -
11.3 人工合成数据-机器学习笔记-斯坦福吴恩达教授
人工合成数据在字符识别阶段,为了更好的完成分类识别任务,我们就需要给系统提供尽可能多的训练图像,如果我们手头上拥有的图像不多,就需要人工合成更多的数据。例如,我们可以收集不同的字体,并为每种字体的每个字符加上随机背景,这样就可以人工扩展大量的字符图像:另外,也可以通过扭曲字符形状来合成新数据,这也会帮助机器更好地处理发生过形态变化的图像:但是,为数据加上随机噪声一般不会提升模型训练质量...原创 2020-03-28 17:02:38 · 765 阅读 · 0 评论 -
11.2 滑动窗口-机器学习笔记-斯坦福吴恩达教授
滑动窗口(Sliding window)文本检测中的滑动窗口滑动窗口是检测图像中目标对象的最常用手段,在文本检测阶段,我们首先定义正、负样本,正样本图像描述了含有文本的图像,负样本描述了不含文本的图像:通过在原图像沿行、列滑动我们定义好的窗口,并让窗口内图像与正负样本进行比较:当窗口遍历过整幅图像后,获得原图像对应的掩膜,高亮度的区域都为疑似文本框的区域:掩膜中的文本框断断续续的,...原创 2020-03-28 17:01:23 · 2191 阅读 · 0 评论 -
11.1 问题描述及流程-机器学习笔记-斯坦福吴恩达教授
问题描述及流程假定我们有下面一张图片,光学字符识别要解决的问题就是识别图片中的所有字符:光学字符识别的工作流程为:文本检测:获得包含了文本的文本框。字符分割:从文本框中分割出各个字符字符分类(识别):字符分割中得到的只是一个个字符图形,在字符分类阶段,才能真正知道该字符类别。...原创 2020-03-28 16:58:34 · 340 阅读 · 0 评论 -
10.3 在线学习与 MapReduce-机器学习笔记-斯坦福吴恩达教授
在线学习与 MapReduce在线学习用户登录了某提供货运服务的网站,输入了货运的发件地址和收件地址,该网站给出了货运报价,用户决定是购买该服务(y=1)( y=1 )(y=1)或者是放弃购买该服务(y=0)( y=0 )(y=0)。特征向量 xxx 包括了收发地址,报价信息,我们想要学习 p(y=1∣x;θ)p(y=1|x;θ)p(y=1∣x;θ) 来最优化报价:重复直到收敛:重...原创 2020-03-28 16:56:13 · 540 阅读 · 0 评论 -
10.2 梯度下降-机器学习笔记-斯坦福吴恩达教授
梯度下降批量梯度下降法(Batch gradient descent)拥有了大数据,就意味着,我们的算法模型中得面临一个很大的 m 值。回顾到我们的批量梯度下降法:重复直到收敛:重复直到收敛:重复直到收敛:θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))xj(i),for j=0,...,nθ_j:=θ_j−α\frac1m∑_{i=1}^m(h_θ(x^{(i)}...原创 2020-03-28 16:31:22 · 426 阅读 · 0 评论 -
10.1 掌握大数据-机器学习笔记-斯坦福吴恩达教授
掌握大数据在算法分析与优化一节中,我们就提到,在机器学习界流传着这样一句话:It’s not who has the best algorithm that wins. It’s who has the most data.在识别易混淆词汇一例中,我们分别使用了四种算法:(1)Perceptron;(2)Naive Bayes;(3)Winnow;(4)Memory-Based。通过下图可以...原创 2020-03-28 16:21:40 · 344 阅读 · 0 评论 -
9.5 程序示例--推荐系统-机器学习笔记-斯坦福吴恩达教授
程序示例–推荐系统推荐模型在推荐模型中,我们将暴露:训练接口 train()预测接口 predict(Theta, X)获得推荐接口 getTopRecommends(Theta, X, i, count, rated, items):并且,使用 scipy.optimize.minimize 来最小化代价函数:# coding: utf8# recommender_syste...原创 2020-03-28 16:19:53 · 358 阅读 · 0 评论 -
9.4 均值标准化-机器学习笔记-斯坦福吴恩达教授
均值标准化假定我们现在新注册了一个用户 Eve(5),他还没有对任何电影作出评价:Y=[5500?5??0??40??0054?0050?]Y=\left[\begin{matrix}5&5&0&0&?\\5&?&?&0&?\\?&4&0&?&?\\0&0&5&4&...原创 2020-03-28 16:16:37 · 906 阅读 · 0 评论 -
9.3 低秩矩阵分解-机器学习笔记-斯坦福吴恩达教授
低秩矩阵分解(Low Rank Matrix Factorization)我们将用户对电影的评分表格:用矩阵表示:Y=[55005??0?40?00540050]Y=\left[\begin{matrix}5&5&0&0\\5&?&?&0\\?&4&0&?\\0&0&5&4\\0&am...原创 2020-03-28 16:03:31 · 2253 阅读 · 0 评论 -
9.2 协同过滤-机器学习笔记-斯坦福吴恩达教授
协同过滤(Collaborative Filtering)回到上一节的问题,每部电影,我们都有评价其内容的特征向量 xxx :但是,在现实中,不会有任何网站,任何人有精力,有能力去评估每部电影所具有的一些指数吧。因此,基于内容的推荐系统从构架初期,可能就会遭遇非常大的阻力。假定我们先有了各个用户对电影的偏爱评估 θθθ :θ(1)=(050),θ(2)=(050),θ(3)=(005...原创 2020-03-28 15:46:52 · 429 阅读 · 0 评论 -
9.1 基于内容的推荐系统-机器学习笔记-斯坦福吴恩达教授
基于内容的推荐系统推荐系统是机器学习最重要的应用之一,你所知道的淘宝、亚马逊、facebook、豆瓣这些网站都把推荐系统作为了核心。在某个电影资讯的网站,有那么一份用户对于电影的打分(1 - 5 分),? 代表用户没有评价过该电影:该网站对于每部电影都给出了两个评价指数,构成了电影的二维特征向量 xxx :x1=电影的浪漫指数x_1=电影的浪漫指数x1=电影的浪漫指数x2=电影的动作指...原创 2020-03-28 11:53:13 · 403 阅读 · 0 评论 -
8.7 程序示例--异常检测-机器学习笔记-斯坦福吴恩达教授
程序示例–异常检测异常检测模型提供了一般高斯分布模型和多元高斯分布模型。其中,多元高斯分布模型被限制到了同轴分布:# coding: utf8# anomaly_detection/anomaly.pyimport numpy as npdef F1(predictions, y): """F_1Score Args: predictions 预测...原创 2020-03-28 11:35:25 · 424 阅读 · 0 评论 -
8.6 多元高斯分布模型-机器学习笔记-斯坦福吴恩达教授
多元高斯分布模型引子在服务器运转监控的问题中,我们获得一个服务器样本 xxx ,并且,计算了 p(x1;μ1,δ12) 及 p(x2;μ2,δ22)p(x_1;μ_1,δ^2_1)\ 及\ p(x_2;μ_2,δ_2^2)p(x1;μ1,δ12) 及 p(x2;μ2,δ22) ,认为该服务器的 CPU 负载和内存使用都在正常范围内,...原创 2020-03-28 11:32:15 · 1286 阅读 · 0 评论 -
8.5 特征选择-机器学习笔记-斯坦福吴恩达教授
特征选择使得特征服从高斯分布为了构建异常检测模型,我们就希望特征能服从高斯分布:但是,我们一开始拿到的特征的分布可能是这样的:我们可以同过对数操作或者其他操作将他转化为高斯分布,例如,上面的特征经对数操作后形成的分布就非常接近于高斯分布:构建新特征我们知道,在异常检测中,样本特征要尽可能区分正常样本和异常样本。例如,为了监测机房中的服务器异常状况,我们选定了如下特征:x1=内存...原创 2020-03-28 10:33:14 · 508 阅读 · 0 评论 -
8.4 有监督学习与异常检测-机器学习笔记-斯坦福吴恩达教授
有监督学习与异常检测很多人会认为异常检测非常类似于有监督学习,尤其是逻辑回归,但我们用一张表格来描述有监督学习与异常检测的区别:有监督学习异常检测数据分布均匀数据非常偏斜,异常样本数目远小于正常样本数目可以根据对正样本的拟合来知道正样本的形态,从而预测新来的样本是否是正样本异常的类型不一,很难根据对现有的异常样本(即正样本)的拟合来判断出异常样本的形态下面的...原创 2020-03-28 10:30:02 · 1657 阅读 · 0 评论 -
8.3 算法流程与评估-机器学习笔记-斯坦福吴恩达教授
算法流程与评估算法流程有了前面的知识,我们可以得到,采用了高斯分布的异常检测算法流程如下:选择一些足够反映异常样本的特征 xjx_jxj 。对各个特征进行参数估计:μj=1m∑i=1mxj(i)μ_j=\frac1m \sum_{i=1}^m x_j^{(i)}μj=m1i=1∑mxj(i)δj2=1m∑i=1m(xj(i)−μ)2δ_j^2=\frac1m \sum_...原创 2020-03-28 10:27:50 · 352 阅读 · 0 评论 -
8.2 高斯分布模型-机器学习笔记-斯坦福吴恩达教授
高斯分布模型我们已经知道,异常检测的核心就在于找到一个概率模型,帮助我们知道一个样本落入正常样本中的概率,从而帮助我们区分正常和异常样本。 高斯分布(Gaussian Distribution) 模型就是异常检测算法最常使用的概率分布模型。定义我们称 X∼N(μ,δ2)X∼N(μ,δ^2)X∼N(μ,δ2) 为: XXX 服从均值为 μμμ ,方差为 δ2δ^2δ2 的高斯分布...原创 2020-03-28 10:18:04 · 2175 阅读 · 0 评论 -
8.1 概述-机器学习笔记-斯坦福吴恩达教授
概述异常检测(Anomaly Detection)是机器学习里面的一个常见应用,机器通过训练,将知道什么样的样本是正常样本,从而具备识别异常样本的能力。飞机制造商在飞机引擎从生产线上流入市场前,会考虑进行异常检测,以防止不合格引擎造成恶劣结果。而为了进行异常检测,通常就需要采集一些引擎特征,如:x1=引擎运转时的热量x_1 = 引擎运转时的热量x1=引擎运转时的热量x2=引擎的振荡频率x_...原创 2020-03-28 10:03:48 · 342 阅读 · 0 评论 -
7.5 程序示例--PCA for 数据可视化-机器学习笔记-斯坦福吴恩达教授
程序示例–PCA for 数据可视化我们有一张小鸟的图片,这是一个三通道彩色图像:我们将图片的像素按颜色进行聚类,并在三维空间观察聚类成果:似乎在三维空间可视化不是那么直观,借助于PCA,我们将聚类结果降到二维空间进行可视化:测试代码:# coding: utf8# pca/test_pca4visualization.pyimport numpy as npimport ...原创 2020-03-28 09:59:38 · 405 阅读 · 0 评论 -
7.4 程序示例--PCA for 加速学习-机器学习笔记-斯坦福吴恩达教授
程序示例–PCA for 加速学习现在,我们手上有一个人脸数据集,每张图片大小为 32×32 ,以像素为特征,则每个特征向量的维度就为 1024 维:考虑使用 PCA 进行降低特征维度到 100 维:# coding: utf8# pca/test_pca4visualization.pyimport pcaimport numpy as npimport matplo...原创 2020-03-28 09:58:00 · 428 阅读 · 0 评论