机器学习
David Wolfowitz
愿在最好的青春做成最想做的事
展开
-
机器学习常用优化算法【一】—— Gradient Descent 系列
一、Gradient Descent(梯度下降算法)(1)、Batch Gradient descent(BGD, 指计算梯度时用的是全部样本的梯度的均值)Batch Gradient descent 是一种求最小局部变量的一阶迭代优化算法。利用gradient descent来求一个函数的最小值,我们每一步都在当前点加上一个负梯度的倍数。如果我们采用的是正梯度,则计算的是函数的局部最大值。这就像我们要从山上的某个点下山,如何最快的到达山底,我们的方法就是在当前点选择下山的最陡的方向走,这就是梯度下降原创 2020-07-03 20:15:14 · 521 阅读 · 0 评论 -
机器学习算法准备提升——线性模型(4)感知机
参考资料:【1】统计学习方法原创 2020-06-27 15:42:05 · 94 阅读 · 0 评论 -
机器学习算法准备提升——线性模型(3)【逻辑斯谛回归】
参考资料:【1】Logistic function【2】Logistic Regression — Detailed Overview原创 2020-06-26 20:48:17 · 105 阅读 · 0 评论 -
机器学习算法准备提升——线性模型(2)【贝叶斯回归】
记录一下学习笔记,这些公式用markdown打起来太费时间了,哈哈,就改成了这种方式记录笔记。参考资料:【1】机器学习-白板推导系列(十九)-贝叶斯线性回归(Bayesian Linear Regression)【2】Bayesian linear regression【3】Bayes’ theorem...原创 2020-06-26 20:43:31 · 144 阅读 · 0 评论 -
机器学习算法准备提升——线性模型(1)【最小二乘和与Lasso、Riedg有关的线性模型】
线性模型的一般的数学表示方法如下:y^(ω,x)=ω0+ω1x1+...+ωpxp\hat{y}(\omega, x) = \omega_0 + \omega_1 x_1 + ... + \omega_px_py^(ω,x)=ω0+ω1x1+...+ωpxp其中,y^\hat{y}y^是预测的值,这个模型中,我们把向量ω=(ω1,...,ωp)\omega = (\omega_1, ...,\omega_p)ω=(ω1,...,ωp)作为系数,把ω0\omega_0ω0作为偏移量。原创 2020-06-23 12:09:34 · 446 阅读 · 0 评论 -
机器学习算法准备提升——聚类算法
聚类是一种无标签数据输入的算法。每个聚类算法都有两个变量:类别:调用fit方法在训练集上去学习聚合成多个类别;给定的训练数据一、K-MeansKMeans算法通过试着在n组方差相等的样本中分类样本来聚类数据,最小化评价标准。这个算法需要指明聚类的个数。它可以很好的拓展到大量的样本。K-means算法将NNN个样本分到KKK个不相交的聚类CCC中,每个聚类都是通过这个聚类中的样本的均值μj\mu_jμj来描述的。这些均值通常叫做这些对应聚类的中心。K-means算法的目标是最小化惯性的质心原创 2020-06-21 12:26:33 · 413 阅读 · 0 评论 -
机器学习算法准备提升——最近邻算法(一)概念篇
导论sklearn.neighbors提供了基本的用于非监督学习和监督学习的方法。非监督最近邻算法是其它许多学习方法的基础,基于近邻的监督学习方法主要用在两方面:离散标签的分类问题和连续标签的回归问题。最近邻方法背后的原则就是去寻找预先定义好的一个数,(这个数描述的是训练样本到某个新的点的距离最近点的个数),从这些点的标签中去预测。这个数(最近邻样本的个数)可以是用户自定义的常数(k-近邻学习),或者是基于局部点的密度(基于半径的近邻学习)。1、最近邻算法*1、Brute Force这是一种暴力求原创 2020-06-18 11:10:19 · 2929 阅读 · 0 评论 -
统计学习方法【6】-逻辑斯谛回归与最大熵模型
声明:该文章为作者整理和简略的,非原创,是多方资料的整合,为方便所以标注的原创,有错别字欢迎指正,仅作为学习用途,其中也有博主自己的笔记一、逻辑斯谛回归模型(1)、逻辑斯谛分布设XXX是连续随机变量,XXX服从逻辑斯谛分布是指XXX具有以下分布函数和密度函数:F(x)=P(X≤x)=11+exp−(x−μ)γF(x) = P(X \leq x) = \frac{1}{ 1 + exp^{-(x-\mu)\gamma}}F(x)=P(X≤x)=1+exp−(x−μ)γ1f(x)=F′(x)=exp原创 2020-05-31 11:36:02 · 203 阅读 · 0 评论 -
统计学习方法【5】-决策树
决策是一种基本的用于分类与回归的方法。在分类问题中,表示基于特征对实例进行分类的过程,可以认为是if-then规则的集合,也可认为是定义在特征空间与类空间上的条件概率分布,主要优点有:模型具有可读性,分类速度快。学习时利用训练数据,根据损失函数最小化的原则建立决策树模型。决策树学习通常包括3个步骤:特征选择,决策树的生成,决策树的修建一、决策树模型基本知识(1)决策树模型决策树:分类决策树模型是一种描述对实例进行分类的树形结构,决策树由结点(node)和有向边(directed edge)组成,结点有原创 2020-05-29 17:01:17 · 162 阅读 · 0 评论 -
统计学习方法【4】- 朴素贝叶斯
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入xxx,利用贝叶斯定理求出后验概率最大的输出yyy.一、朴素贝叶斯法(生成)的学习与分类1、基本方法设输入空间χ⊆Rn\chi \subseteq R^nχ⊆Rn为nnn维向量的集合,输出空间为类标记集合γ={c1,c2,...,ck}\gamma = \{ c_1, c_2, ..., c_k\}γ={c1,c2,...,ck}。输入原创 2020-05-27 18:00:21 · 112 阅读 · 0 评论 -
统计机器学习【3】- K近邻法(三)Ball Tree
在计算机科学中,球树(ball tree)是一种空间划分数据结构,用于组织在多维空间中的点。球数之所有得到此名,是因为它将数据点划分为一组嵌套的超球体。这种类型的数据结构特征使其在很多方面都有用,特别是在最近邻搜索。一般的在特征向量维度小于20的时候是可以用KD-Tree的,但是更高维度的时候建议使用Ball-Tree,这种算法的效率更高非正式描述球树是二叉树,其中每个结点定义一个d维的超球面,或称为球, 其中包含被搜索的点的子集。树的每个内部结点将数据点划分为两个不相交的集合,这两个集合与不同的球相翻译 2020-05-26 22:21:02 · 3258 阅读 · 1 评论 -
统计机器学习【3】- K近邻法(二)Kd-Tree
为什么需要kd树呢?因为在实现k近邻法时,主要考虑的问题是如何对训练数据进行快速k近邻搜索,这点在特征空间的维度大及训练数据容量大时尤其必要。k近邻法最简单的实现方法是线性扫描,这时要计算输入实例与每一个训练实例点的距离,当训练集很大时,计算非常耗时,这种方法是不可行的。为了提高k近邻搜索的效率,可以使用特殊的结果存储训练数据,以提高效率。(1)构造kd树kd树是一种对k维空间(这里的k指的是k维空间不是knn中的k,knn中的k指的是k个近邻点)中的实例点进行存储以便对其进行快速检索的树形数据结构。原创 2020-05-26 18:21:00 · 240 阅读 · 0 评论 -
统计机器学习【3】- K近邻法(一):基础知识
kd树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形结构。kd数是二叉树,表示对k维空间的一个划分。构造kd数相当于不断地用垂直于坐标轴地超平面将k维空间切分,构成一系列的k维超矩形区域。kd树的每一个节点对应于一个k维超矩形区域。构造kd数的方法如下:构造根节点,使根节点对应于k维空间中包含所有实例点的超矩形区域;通过下面的递归方法,不断地对k维空间进行切分,生成子节点,在超矩形区域(节点)上选择一个坐标轴和在次坐标轴上的一个切分点,确定一个超平面,这个超平面通过选定的切分点并垂直于选定的原创 2020-05-26 16:31:53 · 314 阅读 · 0 评论 -
统计机器学习【2】- 感知机(一):基本知识
声明:声明:该文章为作者整理和简略的,非原创,是多方资料的整合,为方便所以标注的原创,有错别字欢迎指正一、初始感知机(perceptron)感知机(perceptron)是二类分类的线性分类模型,感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。(关于生成模型和判别模型可见博客统计机器学习【1】- 入门机器学习(一))。感知机学习旨在求出将训练数据进行线性划分的分离超平面。二、感知机1、什么是感知机假设输入空间(特征空间)是χ⊆Rn\chi \subseteq R原创 2020-05-23 23:26:07 · 185 阅读 · 0 评论 -
统计机器学习【1】- 入门机器学习(三)- 精确率P与召回率R
首先还是讲讲TP,FN,FP,TN先:TP——将正类预测为正类数;TP——将正类预测为正类数;TP——将正类预测为正类数;FN——将正类预测为负类数;FN——将正类预测为负类数;FN——将正类预测为负类数;FP——将负类预测为正类数;FP——将负类预测为正类数;FP——将负类预测为正类数;TN——将负类预测为负类数;TN——将负类预测为负类数;TN——将负类预测为负类数;对于上面的我们可以这样理解,第一个字符表示该结果是预测错误的,第二个字符表示预测成了是正类(positive)还是负类(nega原创 2020-05-23 16:56:12 · 352 阅读 · 0 评论 -
统计机器学习【1】- 入门机器学习(二)
声明:该文章为作者整理和简略的,非原创,是多方资料的整合,为方便所以标注的原创,有错别字欢迎指正常见的机器学习的三大分类:分类问题、 标注问题、回归问题一、分类问题在监督学习中,当输出变量有有限个离散变量值时,预测问题就成了分类问题。输入变量XXX 可以是离散的,也可以是连续的,,监督学习从数据中学习一个分类模型或分类决定函数,称为分类器(classifier)。评价分类性能指标一般是分类准确率(accuracy),定义为:对于给定的测试数据集,分类器正确分类的样本数与总样本数之比。对于二分类原创 2020-05-23 12:43:58 · 144 阅读 · 0 评论 -
统计机器学习【1】- 入门机器学习(一)
##一、统计学习1、什么是统计学习?统计学习是关于计算机基于数据构建概率模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习。2、统计学习的特点:(1)统计学习以计算机及网络为平台,是建立在计算机及网络之上的;(2)统计学习以数据为研究对象,是数据驱动的学科;(3)统计学习的目的是对数据进行预测与分析;(4)统计学习以方法为中心,统计学习方法构建模型并应用模型进行预测与分析;(5)统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科。原创 2020-05-23 10:57:12 · 714 阅读 · 0 评论 -
数据预处理——one-hot编码
如果侵权,可联系博主前言————————————————————————————————————————在机器学习算法中,我们经常会遇到分类特征,例如:人的性别有男女,祖国有中国,美国,法国等。这些特征值并不是连续的,而是离散的,无序的。通常我们需要对其进行特征数字化。那什么是特征数字化呢?例子如下:性别特征:[“男”,“女”]祖国特征:[“中国”,"美国,“法国”]运动特征:[“...转载 2019-11-06 22:18:29 · 460 阅读 · 0 评论 -
微软面试题
转载:https://blog.csdn.net/woaidapaopao/article/details/77806273第一部分:深度学习1、神经网络基础问题(1)Backpropagation(要能推倒) 后向传播是在求解损失函数L对参数w求导时候用到的方法,目的是通过链式法则对参数进行一层一层的求导。这里重点强调:要将参数进行随机初始化而不是全部置0,否则所有隐层的数值都会与输入...转载 2019-08-03 15:14:51 · 205 阅读 · 0 评论 -
西瓜书——第四章 决策树总结
一、基本概念1、什么是决策树;2、知道决策树的学习目的和基本策略;(分而治之)3、掌握决策树算法,知道有哪三种情况会导致递归返回;二、划分选择(这里讲的是离散属性值)1、掌握基本概念和计算公式:信息熵,信息增益(著名的ID3);增益率(C4.5算法);基尼系数(CART算法);2、知道该如何去选择合适的划分方法;三、剪枝处理1、为什么要进行剪纸处理;(对付“过拟合”)2、决策树的...原创 2019-08-05 12:12:34 · 309 阅读 · 0 评论 -
西瓜书——第二章 模型评估与选择总结
一、经验误差与过拟合(1)什么是错误率?什么是精度?它们之间有什么关系?(2)什么是经验误差?什么是泛化误差?(3)什么是过拟合?相对应的什么是欠拟合?该如何去克服过拟合与欠拟合?二、评估方法对样本的数据集进行适当处理,从中产生出训练集S和测试集T。具体方法如下:(1)留出法;需要注意的几个问题:i、训练/测试集的划分要尽可能保持数据分布的一致性。避免因数据划分过程引入额外的偏差...原创 2019-08-02 09:53:44 · 149 阅读 · 0 评论 -
西瓜书——第五章 神经网络总结
一、神经元模型1、什么是神经网络;2、什么式“M-P神经元模型”,绘制出大概模型;3、”激活函数“的作用;有哪些激活函数;4、为什么经常把阶跃函数作为激活函数,常用的激活函数有哪些,各有什么优缺点,大概图形是怎样的;二、感知机与多层神经网络1、什么是感知机;2、说说如何使用感知机实现逻辑与、或、非运算;3、感知机只有一层输出神经元进行激活函数处理,即只拥有一层功能神经元,学习能力非...原创 2019-08-06 17:20:53 · 247 阅读 · 0 评论 -
西瓜书——第六章 支持向量机总结
一、间隔与支持向量1、掌握公式的推导过程:2、什么是支持向量;解:距离超平面最近的训练样本点使上式的等号成立,它们被称为“支持向量”3、如何寻找最优的超平面;解:首先量化最优指标(这里即为“间隔”);然后再求其最值(这里使最大化“间隔”),寻求约束条件;最后求解。4、支持向量机的基本型:二、对偶问题1、对一中第4小问公式如何求解;解:利用拉格朗日乘子法得到其对偶问题,利用...原创 2019-08-10 14:52:37 · 285 阅读 · 0 评论 -
西瓜书 第十一章 特征选择与稀疏学习
从整体上对本节内容做一个概括,见下面的思维导图:原创 2019-08-21 22:39:58 · 173 阅读 · 0 评论 -
西瓜书 第13章 半监督学习
本章思维导图原创 2019-08-22 16:41:35 · 554 阅读 · 0 评论 -
西瓜书——第三章 线性模型总结
一、基本形式1、线性组合的基本形式是什么?向量形式怎么表示?2、线性模型与非线性模型之间有什么关系?如何通过现象模型得到非线性模型?二、线性回归——回归任务1、对数据处理:(这里指对离散属性的量化)例如:”身高“的”高“、”低“,可转化为{1.0,0.0};”身高“的”高“、”中“、”低“,可转化为{1.0, 0.5,0.0};”瓜类“的”西瓜“、”南瓜“、”黄瓜“,可转化为{0,0...原创 2019-08-03 12:08:16 · 209 阅读 · 0 评论