机器学习
文章平均质量分 78
忆殇DR
程序猿的路,该一个人慢慢走,个中滋味,只有自己最懂……
展开
-
机器学习优化算法概要
最近面试经常被问到机器学习和深度学习优化器的问题,所以做了一点简要的总结,主要是理清每种优化算法的基本思想和相互之间的对比,全文在ipad上手写,不想再转成md浪费时间了,如果看不习惯的朋友可以选择忽略直接退出((ಥ﹏ಥ))SAGSAGAliblinearNewton法BFGSL-BFGS优化器选择的原则...原创 2020-08-04 18:07:30 · 400 阅读 · 0 评论 -
第十六章 主成分分析 代码实现
这篇博客主要是总结一下sklearn中给出的几种PCA方法的实现,包括PCA:针对线性可分数据的PCA方法的实现Kernel PCA:加入了核函数的PCA方法,用于对线性不可分数据的降维Incremental PCA:用于对大数据进行降维,当数据量过大时,不能一次全部加载入内存,所以需要每次加载一个batch,这一点上和深度学习在数据量过大时的加载方法是一致的,即每次都只从外存中取一个ba...原创 2020-01-12 22:31:04 · 542 阅读 · 0 评论 -
第十六章 主成分分析(PCA)
PCA对于主成分分析方法的原理和涉及到的相关数学知识的学习,下面几篇文章讲解的非常好:如何通俗易懂地讲解什么是 PCA 主成分分析?如何通俗地理解协方差与相关系数?如何通俗地理解奇异值?如何理解拉格朗日乘子法和KKT条件?如何通俗地理解协方差与相关系数?上面几篇文章已经详细的介绍了主成分分析方法的基本概念和实现方法,但还有几点是上面没有涉及,需要继续讨论的:经典的PCA方法是...原创 2020-01-12 16:35:02 · 5055 阅读 · 0 评论 -
《统计学习方法(第二版)》学习笔记 第五章 决策树
决策树 - ID3、C4.5、CART对于决策树的学习,无论是ID3、C4.5和CART分类树还是CART回归树,其实都需要重点关注几个点:数据集确定性的评价指标(信息增益、信息增益比、基尼指数、平方误差)递归构造决策树过程中,基于数据集确定性的评价指标选择最优特征和最优切分点以构造子树的过程(ID3和C4.5算法生成f分类决策树的过程中生成的是多叉树,只需要重点关注特征选择过程即可,然...原创 2019-12-15 11:17:04 · 929 阅读 · 0 评论 -
《统计学习方法(第二版)》学习笔记 第十章 隐马尔可夫模型
隐马尔科夫模型(HMM)模型定义隐马尔科夫模型是关于时序的模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态序列,再由各个状态随机生成一个观测从而产生观测序列的过程。其中涉及的关键概念包括以下两个:状态序列:由隐藏的马尔科夫链随机生成的不可见的状态的序列观测序列:状态序列中的每个不可见的状态都会生成一个可见的观测,而由此产生的观测的随机序列,就叫做观测序列。而一个隐马尔科...原创 2019-12-02 21:14:31 · 301 阅读 · 0 评论 -
《统计学习方法(第二版)》学习笔记 第四章 朴素贝叶斯法 代码实现
这篇博客总结一下特征值是离散值和连续值情况的朴素贝叶斯法的代码实现。在这两种情况下:特征值是离散值时,P(X(j)=ajl∣Y=ck)P(X^{(j)}=a_{jl}|Y=c_{k})P(X(j)=ajl∣Y=ck)是通过频数来估计的;特征值是连续值时,P(X(j)=ajl∣Y=ck)P(X^{(j)}=a_{jl}|Y=c_{k})P(X(j)=ajl∣Y=ck)是通过正态分布来估计的...原创 2019-10-30 11:35:22 · 297 阅读 · 0 评论 -
《统计学习方法(第二版)》学习笔记 第四章 朴素贝叶斯法
文章目录朴素贝叶斯法1. 基本方法2. 参数估计方法2.1 取值为离散量2.2 取值为连续量3. 学习分类算法朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的生成模型,概率估计采用的是极大似然估计方法,即用频率作为概率的近似值。在我理解里,其实朴素贝叶斯法和KNN算法一样,都没有显式的参数学习过程,都是基于实例的,即当前数据集如果确定了的话,则模型也是确定的,这和神经网络是明显不一样的。朴素贝...原创 2019-10-28 15:22:52 · 230 阅读 · 0 评论 -
《统计学习方法(第二版)》学习笔记 第三章 k近邻法 代码实现
文章目录1. kd树节点定义2. 数据处理过程3. 基于kd树的最近邻算法实现和k近邻算法实现3.1 kd树的构建3.2 基于kd树的最近邻算法实现3.3 基于kd树的k近邻算法的实现这篇博客给出基于kd树的最近邻算法实现和k近邻算法的实现1. kd树节点定义Node.py:kd树中的节点定义class KdNode: """ @:param value: ...原创 2019-10-23 11:08:02 · 234 阅读 · 0 评论 -
《统计学习方法(第二版)》 学习笔记 第三章 k近邻法
文章目录k近邻法(K-nearest neighbor)1. 定义2. K-NN模型3. 距离度量3.1 闵可夫斯基距离(Minkowski Distance,也叫LpL_{p}Lp距离)3.1.1 欧式距离(Euclidean distance)3.1.2 曼哈顿距离(Manhattan Distance)3.1.3 切比雪夫距离(Chebyshev distance)3.2 标准化欧式距离(...原创 2019-10-22 22:48:01 · 812 阅读 · 0 评论 -
《统计学习方法(第二版)》学习笔记 第二章 感知机 代码实现
感知机代码实现 首先先直接给出一个复制粘贴就可以运行的代码实例,让大家先感受一下感知机的代码的执行过程。数据集采用的是经典的鸢尾花数据集,sklearn.datasets中提供了鸢尾花数据集的接口可以直接使用,当然还有其他更多的数据集可以用来进行实验,比如非常有名的用于机器学习的数据库UCI,其中也包含了鸢尾花数据集,里面包含的大部分数据集的规模都很小,很适合初学者使用。import num...原创 2019-10-16 21:51:35 · 157 阅读 · 0 评论 -
《统计学习方法(第二版)》学习笔记 第二章 感知机
文章目录感知机模型感知机学习准则感知机优化方法-梯度下降总结这一块因为最近要讲组会,所以做了ppt,就结合着ppt再做点总结吧。想要讲明白一个算法,总是要从三个方面入手的:模型、学习准则和优化方法,我也不例外,所以接下来也是从这三个方面来总结感知机的相关内容。感知机模型 下图给出了感知机的一般形式。由给出的公式可知,感知机实际是确定了一个分离超平面,由数学定义可知,当点在这个分离超平面...原创 2019-10-09 21:35:23 · 298 阅读 · 0 评论 -
ROC曲线学习总结
文章目录ROC曲线学习总结1. ROC曲线(Receiver Operating Characteristic)的概念和绘制2. 利用ROC曲线评价模型性能——AUC(Area Under Curve)3. 利用ROC曲线选择最佳模型3.1 不同模型之间选择最优模型3.2 同一模型中选择最优点对应的最优模型3.3 当测试集中的正负样本的分布变换的时候,ROC曲线能够保持不变ROC曲线在对分类问...原创 2019-08-19 15:22:38 · 98377 阅读 · 14 评论 -
《统计学习方法(第二版)》学习笔记 第一章 统计学习及监督学习概论
文章目录第一章 统计学习及监督学习概论1. 回归 _vs_ 分类 _vs_ 标注2.数据的独立同分布假设3. 极大似然估计3.1 概念理解3.2 极大似然函数4. 生成模型 _vs_ 判别模型5. 核方法6. 正则化7.交叉验证第一章 统计学习及监督学习概论第一章作为开篇,其实是导论性质的一章,大部分内容也都是老生常谈,不过还是有一些概念我觉得挺有意思的,值得记录总结一下。不积跬步无以至千里...原创 2019-07-06 19:03:06 · 496 阅读 · 2 评论 -
机器学习和深度学习知识框架图
两个图分别从两种角度对机器学习和深度学习的整体框架进行了梳理,见下图。特此记录下来,与大家分享,也为了指导自己后续的学习。原创 2019-07-15 21:41:14 · 1475 阅读 · 0 评论 -
《统计学习方法(第二版)》学习笔记 第七章 支持向量机
文章目录第七章 支持向量机1. 基本概念2. 超平面和点到超平面的距离2.1 超平面的函数表示2.2 点到超平面的距离3. 函数间隔和几何间隔3.1 函数间隔3.2 几何间隔4. 线性可分支持向量机4.1 硬间隔最大化4.2 学习的对偶算法4.3 求解对偶问题5. 线性支持向量机和软间隔最大化6. 非线性支持向量机第七章 支持向量机1. 基本概念 支持向量机(support vector ...原创 2019-07-08 11:23:32 · 647 阅读 · 0 评论