吴恩达机器学习总结
收获,思路总结
TQ2
这个作者很懒,什么都没留下…
展开
-
应用实例:照片OCR(Application example:Photo OCR)
目录问题描述与.OCR.pipeline滑动窗口获取大量数据和人工数据天花板分析:下一步工作的.pipeline问题描述与.OCR.pipeline滑动窗口获取大量数据和人工数据天花板分析:下一步工作的.pipeline...原创 2020-07-27 16:36:16 · 1534 阅读 · 0 评论 -
大规模机器学习(Large scale machine learning)
目录学习大数据集随机梯度下降Mini-Batch.梯度下降随机梯度下降收敛在线学习减少映射与数据并行学习大数据集随机梯度下降Mini-Batch.梯度下降随机梯度下降收敛在线学习减少映射与数据并行...原创 2020-07-26 17:23:14 · 1920 阅读 · 0 评论 -
推荐系统(Recommender system)
目录问题规划基于内容的推荐算法协同过滤协同过滤算法矢量化:低秩矩阵分解实施细节:均值规范化问题规划基于内容的推荐算法协同过滤协同过滤算法矢量化:低秩矩阵分解实施细节:均值规范化...原创 2020-07-23 09:52:45 · 1764 阅读 · 0 评论 -
异常检测(Anomaly detection)
目录问题动机高斯分布算法开发和评估异常检测系统异常检测.VS.监督学习选择要使用的功能多变量高斯分布使用多变量高斯分布的异常检测问题动机异常检测问题主要应用在非监督学习问题。识别异常的样本。异常检测采取的方法:给定训练集,对数据建模即 p(x) ,也就是对样本的分布概率建模。如果新样本带入算法得到的结果低于给定阈值,即为异常。异常检测算法的应用:欺诈检测:对不同的用户活动,计算特征变量 x(i) ,然后可以建立一个模型来表示用户表现出各种行为的可能性,用来表示用户行为对应的特征向量出现的原创 2020-07-21 21:27:39 · 2501 阅读 · 0 评论 -
降维(Dimensionality Reduction)
目录目标 I:数据压缩目标Ⅱ:可视化主成分分析问题规划1主成分分析问题规划2主成分数量选择压缩重现应用.PCA.的建议目标 I:数据压缩目标Ⅱ:可视化主成分分析问题规划1主成分分析问题规划2主成分数量选择压缩重现应用.PCA.的建议...原创 2020-07-19 11:27:11 · 1828 阅读 · 0 评论 -
聚类(Clustering)
目录无监督学习K-Means算法优化目标随机初始化选取聚类数量无监督学习K-Means算法优化目标随机初始化选取聚类数量原创 2020-07-17 17:20:55 · 1970 阅读 · 0 评论 -
支持向量机(Support vector machines)
这里写目录标题优化目标直观上对大间隔的理解大间隔分类器的数学原理核函数使用SVM优化目标直观上对大间隔的理解大间隔分类器的数学原理核函数使用SVM原创 2020-07-16 15:57:27 · 1749 阅读 · 1 评论 -
机器学习系统设计(Machine learning system design)
目录确定执行的优先级误差分析不对称性分类的误差评估精确度和召回率的权衡机器学习数据确定执行的优先级垃圾邮件分类器:左边:垃圾邮件(标签1),可能故意拼写一些错误的单词。右边:非垃圾邮件(标签0)。一种选择邮件特征向量的方法:通过选择一个单词列表,然后建立一个向量,向量的内容是对应于单词是否出现。在实际中的做法是,在训练集中挑选出出现频率最高的n个单词,n一般在10000到50000的范围。问题:如何在有限的时间下,让分类器具有高精准度和低错误率?一种方法是收集大量数据。(Honey p原创 2020-07-15 10:05:47 · 4245 阅读 · 0 评论 -
应用机器学习的建议(Advice for applying machine learning)
目录决定下一步做什么评估假设模型的选择和训练、验证、测试集诊断偏差与方差正则化和偏差、方差学习曲线决定接下来做什么决定下一步做什么评估假设模型的选择和训练、验证、测试集诊断偏差与方差正则化和偏差、方差学习曲线决定接下来做什么...原创 2020-07-13 21:51:25 · 1585 阅读 · 0 评论 -
神经网络学习(Neural Networks: Learning)
目录代价函数反向传播算法理解反向传播使用注意:展开参数梯度检测随机初始化组合到一起无人驾驶代价函数L:神经网络的总层数。Sl:第 l 层的单元(神经元)数,不包括偏置单元。K:输出向量的维度数,对于二分类 K = 1,对于其他类别 K = 分类类别个数。代价函数:由于神经网络输出的是k维分类结果,所以计算的偏差是k个结果之和。对于正则化项,在逻辑回归和神经网络中都是相同的,把所有的正则化项的参数全部累加;但偏置参数并不需要参与正则化,所以我们并没有将其加入到正则化中。反向传播算法反向传原创 2020-07-12 16:21:49 · 1860 阅读 · 0 评论 -
神经网络(Neural Networks:Representation)
这里写目录标题非线性假设神经元与大脑模型展示例子与直觉理解多元分类非线性假设假如有一个监督学习分类问题它的训练集如图所示:如果使用logistc分类方法(逻辑回归),我们可以构造一个包含很多非线性项的logistc回归函数,当多项式(例如图中特征x1,x2任意组合)足够多时,那么就可能分类成功。当我们需要输入的特征量n很大时:如果多项式只包含二次项,那么会产生大量的二次项;如果只包含其中的平方项,那么会因为忽略了太多的相关项,而导致拟合的曲线不准确;如果包含三次项,那么数据量更大了。由于项数过多原创 2020-07-10 16:01:02 · 1917 阅读 · 0 评论 -
正则化(Regularization)
目录过拟合的问题代价函数线性回归的正则化Logistic.回归的正则化过拟合的问题正则化通过加大对参数Θ的惩罚力度可以减轻过拟合问题。下图左1:欠拟合(underfitting)具有高偏差(high bias)。下图中1:合适。下图右1:过拟合(overfitting)具有高方差(high variance)。泛化(generalize):指假设模型能应用到新样本的能力。在线性回归中:在逻辑回归中:特征维度太多,样本数据太少,过度拟合就会发生:解决过度拟合方法:1.减少特征数量(原创 2020-06-14 11:05:58 · 1849 阅读 · 0 评论 -
逻辑回归(Logistic regression)
目录分类假设陈述决策界限代价函数简化代价函数与梯度下降高级优化多元分类:一对多分类二分类:假设0为“负类”(Negative class),1为“正类”(Positive class)假设有一个数据集,需要预测肿瘤是良性(y = 0)和恶性(y = 1)。使用线性回归(linear regression)来解决这个问题:由上图可以看出模拟的效果并不好,所以不建议将线性回归用于分类问题。逻辑回归(logic regression)实际上是一种分类算法(如下)。假设陈述hθ(x) = g原创 2020-06-13 17:12:44 · 2323 阅读 · 0 评论 -
多元线性回归(Linear regression with multiple variables)
目录多维特征多元的梯度下降法特征和多项式回归正规方程多维特征n:特征量(维度)m:样本数量x(i):第 i 个样本x(i)j:第 i 个样本的第 j 维度多元线性回归:多元的梯度下降法将多元假设用于梯度下降算法中:技巧:特征缩放优点:使特征值相近,更快速的收敛通常将特征的取值约束到 -1 到 1 的范围内,不能太大或者太小均值归一化:ui = 样本中 第 i 维度中所有值之和的平均值(例如:在房价预测中,所有房子大小的平均值)si = 第 i 维度的最大值 - 最原创 2020-06-12 16:52:28 · 2541 阅读 · 0 评论 -
线性代数(矩阵和向量)
线性代数(矩阵和向量)矩阵和向量加法和标量乘法矩阵向量乘法矩阵乘法矩阵乘法特征逆和转置矩阵和向量矩阵:下图为一个R(4x2)和一个R(2x3)的矩阵矩阵优点:快速整理,索引和访问大量数据。向量:下图为一个R(4)的向量加法和标量乘法加法:矩阵加法是逐个元素相加,只有维度相同的才能相加。标量乘法:标量乘法也是与矩阵的逐个元素进行运算。矩阵向量乘法矩阵向量乘法必须前一个矩阵的列数等于第二个向量的行数,运算结果:R(mxn) * R(nx1) = R(mx1)。技巧:原创 2020-06-10 16:53:23 · 2527 阅读 · 0 评论 -
单变量线性回归(Linear regression with one variable)
单变量线性回归(Linear regression with one variable)模型表示代价函数梯度下降应用于线性回归的的梯度下降算法模型表示代价函数梯度下降应用于线性回归的的梯度下降算法原创 2020-06-10 14:53:48 · 1668 阅读 · 0 评论 -
Octave操作总结
1:基本运算+,-,*,/,^等运算>> 3+3ans = 6>> 4^0.5ans = 22:逻辑运算常用的逻辑运算包括:等于(==)、不等于(~=)、并(&&)、或(||)四种,分别用不同的符号表示。运算的结果用 1表示成立,0表示不成立。>> 1 == 1ans = 1>> 1 ~= 1ans = 0>> 1 && 0ans = 0>> 1 || 0ans =原创 2020-06-09 22:03:10 · 2988 阅读 · 0 评论