机器学习基础
机器学习中的概率论,矩阵分析,线性代数,各类算法
武科大许志伟
武科大计算机本硕博,小青椒,IEEE, ACM, CCF, CAAI, IEEE-SMC, IEEE-CIS会员.研究方向为:演化计算,多目标优化,迁移优化,多任务优化,机器学习。
展开
-
【转】详解EM算法与混合高斯模型(Gaussian mixture model, GMM)
【转】详解EM算法与混合高斯模型(Gaussian mixture model, GMM)转载自:https://blog.csdn.net/lin_limin/article/details/81048411作者:林立民爱洗澡觉得有用的话,欢迎一起讨论相互学习~转载 2021-08-10 20:30:37 · 166 阅读 · 0 评论 -
[吴恩达机器学习笔记]16推荐系统5-6协同过滤算法/低秩矩阵分解/均值归一化
16.推荐系统 Recommender System觉得有用的话,欢迎一起讨论相互学习~Follow Me16.5 向量化:低秩矩阵分解Vectorization_ Low Rank Matrix Factorization示例当给出一件产品时,你能否找到与之相关的其它产品。一位用户最近看上一件产品,有没有其它相关的产品,你可以推荐给他协同过滤算法我...原创 2018-09-12 21:42:14 · 1666 阅读 · 0 评论 -
[吴恩达机器学习笔记]16推荐系统3-4协同过滤算法
16.推荐系统 Recommender System觉得有用的话,欢迎一起讨论相互学习~Follow Me16.3 协同过滤Collaborative filtering推荐系统有一个很有意思的特性就是 特征学习 ,即 自行学习所要使用的特征。对于基于内容的推荐系统来说,需要有人事先对电影的x1爱情成分和x2动作片成分做出评价,来确定每部电影的特征成分,并使用电影的特征训练出...原创 2018-09-12 20:14:19 · 1297 阅读 · 0 评论 -
[吴恩达机器学习笔记]16推荐系统1-2基于内容的推荐系统
16.推荐系统 Recommender System觉得有用的话,欢迎一起讨论相互学习~Follow Me16.1 问题形式化Problem Formulation推荐系统的改善能为公司带来巨大的收益[以下为Andrew Ng的原话]第一、仅仅因为它是机器学习中的一个重要的应用。在过去几年,我偶尔访问硅谷不同的技术公司,我常和工作在这儿致力于机器学习应用的人们聊天,我...原创 2018-09-12 16:35:59 · 1099 阅读 · 0 评论 -
S折交叉验证(S-fold cross validation)
S折交叉验证(S-fold cross validation)觉得有用的话,欢迎一起讨论相互学习~Follow Me仅为个人观点,欢迎讨论参考文献https://blog.csdn.net/aliceyangxi1987/article/details/73532651李航-统计学习方法https://blog.csdn.net/jasonding1354/article/detai...原创 2019-03-12 14:52:16 · 2300 阅读 · 0 评论 -
[吴恩达机器学习笔记]11机器学习系统设计5数据量对机器学习的影响
11. 机器学习系统的设计觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广11.5 数据量对机器学习的影响 Data For Machine Learning 问题引入很多很多年前,我认识的两位研究人员 Michele Banko 和 Eric Brill 进行了一项有趣的研究,他们尝试通...原创 2018-09-04 22:40:17 · 468 阅读 · 0 评论 -
[吴恩达机器学习笔记]12支持向量机1从逻辑回归到SVM/SVM的损失函数
12.支持向量机觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广12.1 SVM损失函数 从逻辑回归到支持向量机为了描述支持向量机,事实上,我将会从逻辑回归开始展示我们如何一点一点修改来得到本质上的支持向量机。逻辑回归公式逻辑回归公式如下图所示, 可以看出逻辑回归...原创 2018-09-05 10:55:44 · 2465 阅读 · 0 评论 -
[吴恩达机器学习笔记]12支持向量机2 SVM的正则化参数和决策间距
12.支持向量机觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广12.2 大间距的直观理解- Large Margin Intuition 人们有时将支持向量机看作是大间距分类器。在这一部分,我将介绍其中的含义,这有助于我们直观理解 SVM 模型的假设是什么样的。以下图片展示的是SVM的代价函...原创 2018-09-05 17:06:48 · 2477 阅读 · 0 评论 -
[吴恩达机器学习笔记]12支持向量机3SVM大间距分类的数学解释
12.支持向量机觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广12.3 大间距分类背后的数学原理- Mathematics Behind Large Margin classification 向量内积假设有两个向量u=[u1u2]u=[u1u2]u=\begin{bmatrix}u...原创 2018-09-06 18:47:10 · 361 阅读 · 0 评论 -
[吴恩达机器学习笔记]12支持向量机4核函数和标记点kernels and landmark
12.支持向量机觉得有用的话,欢迎一起讨论相互学习~Follow Me12.4 核函数与标记点- Kernels and landmarks问题引入如果你有以下的训练集,然后想去拟合其能够分开正负样本的非线性判别边界。 一种办法是构造一个复杂多项式特征的集合: hθ(x)={1  if  θ0+θ1x1+原创 2018-09-06 22:00:48 · 846 阅读 · 0 评论 -
[吴恩达机器学习笔记]12支持向量机5SVM参数细节
12.支持向量机觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广12.5 SVM参数细节标记点选取标记点(landmark)如图所示为l(1),l(2),l(3)l(1),l(2),l(3)l^{(1)},l^{(2)},l^{(3)},设核函数为 高斯函数 ,其中设预测函数y=1 i...原创 2018-09-07 20:56:56 · 504 阅读 · 0 评论 -
[吴恩达机器学习笔记]12支持向量机6SVM总结
12.支持向量机觉得有用的话,欢迎一起讨论相互学习~Follow Me12.6SVM总结推荐使用成熟的软件包用以解决 SVM 最优化问题的软件很复杂,且已经有研究者做了很多年数值优化。因此强烈建议使用高优化软件库中的一个,而不是尝试自己落实一些框架。有许多好的软件库,NG用得最多的两个是 liblinear 和 libsvm归一化处理Note 无论使用使用何...原创 2018-09-08 10:43:00 · 312 阅读 · 0 评论 -
[吴恩达机器学习笔记]13聚类K-means
13.聚类觉得有用的话,欢迎一起讨论相互学习~Follow Me13.1无监督学习简介从监督学习到无监督学习在一个典型的监督学习中,我们有一个有标签的训练集,我们的目标是找到能够区分正样本和负样本的决策边界,在监督学习中,我们有一系列标签,我们需要据此拟合一个假设函数: 与此不同的是,在非监督学习中,我们的数据没有附带任何标签,我们拿到的数据就是这样的: 在这...原创 2018-09-08 21:14:47 · 2928 阅读 · 2 评论 -
[吴恩达机器学习笔记]14降维1-2降维的应用数据压缩与数据可视化
14.降维觉得有用的话,欢迎一起讨论相互学习~Follow Me14.1动机一:数据压缩降维 也是一种无监督学习的方法,降维并不需要使用数据的标签。降维 的其中一个目的是 数据压缩,数据压缩不仅能够压缩数据,使用较少的计算机内存或磁盘空间,更可以加快我们的学习算法。降维 能很好的处理 特征冗余,例如:在做工程时,有几个不同的工程队,也许第一个工程队给你二百个特征,第二工程...原创 2018-09-09 15:10:28 · 1203 阅读 · 1 评论 -
[吴恩达机器学习笔记]14降维3-4PCA算法原理
14.降维觉得有用的话,欢迎一起讨论相互学习~Follow Me14.3主成分分析原理Proncipal Component Analysis Problem Formulation主成分分析(PCA)是最常见的降维算法当主成分数量K=2时,我们的目的是找到一个低维的投影平面,当把所有的数据都投影到该低维平面上时,希望所有样本 平均投影误差 能尽可能地小。 投影平面 是一个...原创 2018-09-09 17:34:49 · 613 阅读 · 0 评论 -
[吴恩达机器学习笔记]14降维5-7重建压缩表示/主成分数量选取/PCA应用误区
14.降维觉得有用的话,欢迎一起讨论相互学习~Follow Me14.5重建压缩表示 Reconstruction from Compressed Representation使用PCA,可以把 1000 维的数据压缩到100 维特征,或将三维数据压缩到一二维表示。所以,如果如果把PCA任务是一个压缩算法,应该能回到这个压缩表示之前的形式,回到原有的高维数据的一种近似。下图是...原创 2018-09-09 20:05:42 · 893 阅读 · 0 评论 -
[吴恩达机器学习笔记]15.1-3非监督学习异常检测算法/高斯回回归模型
15.异常检测 Anomaly detection觉得有用的话,欢迎一起讨论相互学习~Follow Me15.1问题动机 Problem motivation飞机引擎异常检测假想你是一个飞机引擎制造商,当你生产的飞机引擎从生产线上流出时,你需要进行 QA(质量控制测试),而作为这个测试的一部分,你测量了飞机引擎的一些特征变量,比如引擎运转时产生的热量,或者引擎的振动等...原创 2018-09-11 12:11:05 · 1718 阅读 · 0 评论 -
[吴恩达机器学习笔记]15非监督学习异常检测4-6构建与评价异常检测系统
15.异常检测 Anomaly detection觉得有用的话,欢迎一起讨论相互学习~Follow Me15.4开发和评价一个异常检测系统 Developing and Evaluating an Anomaly Detection System异常检测算法是一个非监督学习算法,意味着我们无法根据结果变量 y 的值来告诉我们数据是否真的是异常的。我们需要另一种方法来帮助检验算...原创 2018-09-11 15:44:49 · 1512 阅读 · 0 评论 -
如何求协方差矩阵
如何求协方差矩阵觉得有用的话,欢迎一起讨论相互学习~Follow Me 转载自:https://blog.csdn.net/kuang_liu/article/details/16369475 非常感谢 1. 协方差...转载 2018-09-11 17:05:05 · 47673 阅读 · 6 评论 -
[吴恩达机器学习笔记]15非监督学习异常检测7-8使用多元高斯分布进行异常检测
15.异常检测 Anomaly detection觉得有用的话,欢迎一起讨论相互学习~Follow Me15.7-8 多变量高斯分布/使用多元高斯分布进行异常检测 -Multivariate Gaussian distribution/ Anomaly Detection using the Multivariate Gaussian Distribution示例假设...原创 2018-09-11 18:23:45 · 903 阅读 · 0 评论 -
常用数据标准化方法
常用标准化方法觉得有用的话,欢迎一起讨论相互学习~Follow Me 原创文章,如需转载请保留出处Z-scores把数值标准化到Z分数。标准化后的变量均值为0,标准差为1。系统将每一个值减去正被标准化的变量或观测量的均值,再除以标准差。如果原始数据的标准差为0,则所有值置0。Range -1 to 1把数值标准化到-1到1的范围内。选择该项,对每个值用还正...原创 2018-05-07 11:38:25 · 2560 阅读 · 0 评论 -
[吴恩达机器学习笔记]11机器学习系统设计3-4/查全率/查准率/F1分数
11. 机器学习系统的设计觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广11.3 偏斜类的误差度量 Error Metrics for Skewed Classes偏斜类 Skewed Classes类偏斜情况表现为训练集中有非常多的同一种类的实例,只有很少或没有其他类的实例...原创 2018-09-04 20:27:01 · 362 阅读 · 0 评论 -
机器学习数学笔记|微积分梯度jensen不等式
机器学习中的数学觉得有用的话,欢迎一起讨论相互学习~Follow Me 原创文章,如需转载请保留出处 本博客为七月在线邹博老师机器学习数学课程学习笔记索引微积分,梯度和Jensen不等式Taylor展开及其应用常见概率分布和推导指数族分布共轭分布统计量矩估计和最大似然估计区间估计Jacobi矩阵矩阵乘法矩阵分解RQ和SVD对称矩阵凸优化微积分与梯度常数e的计原创 2017-11-10 19:19:17 · 1264 阅读 · 0 评论 -
机器学习数学笔记|Taylor展开式与拟牛顿
机器学习中的数学觉得有用的话,欢迎一起讨论相互学习~Follow Me 原创文章,如需转载请保留出处 本博客为七月在线邹博老师机器学习数学课程学习笔记Taylor 展式与拟牛顿索引taylor展式计算函数值解释gini系数公式平方根公式牛顿法梯度下降算法拟牛顿法 DFPBFGSTaylor公式如果函数在x0点可以计算n阶导数,则有Taylor展开如果取x0=0,则有原创 2017-11-12 16:04:22 · 1053 阅读 · 0 评论 -
机器学习数学笔记|概率论基础常见概型分布期望与方差
机器学习中的数学觉得有用的话,欢迎一起讨论相互学习~Follow Me 原创文章,如需转载请保留出处 本博客为七月在线邹博老师机器学习数学课程学习笔记概率论对概率的认识,x表示一个事件,则P(x)表示事件发生的概率,其中不可能发生的事件P(x)=0,一定会发生的事件P(x)=1.P(x)∈[0,1]P(x)\in{[0,1]} 但是事件出现的概率是0,并不意味着这个事件不可能发生.概原创 2017-11-13 11:28:00 · 4181 阅读 · 1 评论 -
机器学习数学笔记|期望方差协方差矩阵
机器学习中的数学觉得有用的话,欢迎一起讨论相互学习~Follow Me 原创文章,如需转载请保留出处 本博客为七月在线邹博老师机器学习数学课程学习笔记简单概率计算Example1我们的思路是,若A先到达则假设A是一条长1cm的线段.B出现的概率是一个点,我们只需要让B这个点落在A这条线段上即可.同理,若B先到达,则假设B是一条长2cm的线段,A出现的概率是一个点,我们需要让A落在B这条原创 2017-11-13 18:48:08 · 1613 阅读 · 0 评论 -
机器学习数学笔记|偏度与峰度及其python实现
机器学习中的数学觉得有用的话,欢迎一起讨论相互学习~Follow Me 原创文章,如需转载请保留出处 本博客为七月在线邹博老师机器学习数学课程学习笔记矩对于随机变量X,X的K阶原点矩为 E(Xk)E(X^{k})X的K阶中心矩为 E([X−E(X)]k)E([X-E(X)]^{k})期望实际上是随机变量X的1阶原点矩,方差实际上是随机变量X的2阶中心矩变异系数(Coefficie原创 2017-11-14 15:13:45 · 12537 阅读 · 0 评论 -
机器学习数学笔记|大数定理中心极限定理矩估计
机器学习中的数学觉得有用的话,欢迎一起讨论相互学习~Follow Me 原创文章,如需转载请保留出处 本博客为七月在线邹博老师机器学习数学课程学习笔记概率密度/概率分布函数概率密度只是针对连续性变量而言,而分布函数是对所有随机变量取值的概率的讨论,包括连续性和离散型.已知连续型随机变量的密度函数,可以通过讨论及定积分的计算求出其分布函数;当已知连续型随机变量的分布函数时,对其求导就可原创 2017-11-14 20:11:39 · 1589 阅读 · 0 评论 -
机器学习数学笔记|极大似然估计
机器学习中的数学觉得有用的话,欢迎一起讨论相互学习~Follow Me 原创文章,如需转载请保留出处 本博客为七月在线邹博老师机器学习数学课程学习笔记极大似然估计假设D是样本集合,A是参数集合,我们在D样本集固定的情况下,A取何值时,P(A|D)能取到最大.我们现在的主要目的是求1式的最大值,其中1式通过贝叶斯公式能转换为2式的形式,其中2式的分母相同,我们只需要考虑分子即可–即3式,原创 2017-11-17 16:36:06 · 529 阅读 · 0 评论