![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
文章平均质量分 82
统计学习方法、林轩田基石、技法。。。
Alter__
技能树技能点击中
展开
-
非线性支持向量机与SMO
文章目录前言常用的核函数smo个人白话理解smo的两个变量如何选择参考前言其实在学过线性支持向量机的学习算法以及它的最优化问题数学形式的时候,非线形支持向量机的就很好理解了,唯一不同的是xi∗xjxi *xjxi∗xj变成K(xi∗xj)K(xi*xj)K(xi∗xj)了常用的核函数带进去就完事。smo个人白话理解smo算法要做的基本思路是,如果所有的αi\alpha_{i}αi都满足KKT那么这个最优解就找到了。它选择两个变量(α1,α2\alpha_{1},\alpha_{2}α1,原创 2021-03-07 19:35:23 · 225 阅读 · 0 评论 -
线性可分的支持向量机与线性支持向量机的个人白话总结
文章目录前言几何间隔函数间隔线性可分的支持向量机如何求解算法流程线性支持向量机算法流程代码前言支持向量机包括:线性可分的支持向量机;线性支持向量机;非线性支持向量机。本篇文章总结前面两种。支持向量机与感知机的关系:间隔最大化的感知机==支持向量机,它是唯一的。从这里也可以看出,我们在满足正确分类的前提下,还要最大化间隔。感知机不用,只要别误分类就行。几何间隔先想一想点到直线的距离公式,再看几何间隔公式:r=ywTx+b∣∣wT∣∣r=y\frac{w^Tx+b}{||w^T||}r=y原创 2021-01-11 20:56:13 · 524 阅读 · 0 评论 -
线性支持向量机的随机梯度下降
算法和代码之间的误区在看统计学习方法的时候,线性支持向量机学习算法变成代码时,下面这个函数不知道如何构造成算法:为什么我认为需要上面这个函数呢,是因为随机梯度下降,需要求梯度,也就说求导,没有函数如何求导。(这是我当时单纯的想法)。后来经过老师的解答发现,现实中从来不写这种函数,因为现实给你数据,你不会知道这个数据会满足什么样的函数的。所以一般的求梯度这个过程直接由数据完成,也就是说知道x,y,就可以求梯度。参考:https://www.jianshu.com/p/9d8e8db52dde原创 2021-01-08 21:42:10 · 950 阅读 · 0 评论 -
hadoop多节点以及mapreduce数词
文章目录Single-Node HadoopConfigure Hadoop Cluster and Run Mapreduce JobWordcount 小文件Single-Node Hadoop准备工作在阿里云服务器上面购买云服务器,购买配置可为2vCPU,2GB内存,40GB的硬盘。修改主机名称以及添加host1). vim /etc/hosts # append (云服务器的私网地址) master master2). vim /etc/hostname #modify ma原创 2020-12-01 11:15:35 · 206 阅读 · 0 评论 -
最大熵模型以及拉格朗日对偶性
文章目录前言最大熵原理模型策略算法前言最大熵模型(maximu entropy model)是多类分类方法,属于判别模型。最大熵原理最大熵模型是由最大熵原理推导实现。最大熵原理是概率模型学习的一个准则,它认为在满足所有约束条件下,把不确定部分当作等可能的概率模型中,熵最大的模型是最好的模型。不确定部分等可能是因为我们没有更多的信息,对于不确定的地方我们不清楚不了解,那么公平起见,都是等可能性的吧。举个例子:给你一个骰子,没有任何其他信息我们认为每个面的概率都是等可能的1/6。模型首先提取原创 2020-11-09 17:40:05 · 1100 阅读 · 0 评论 -
逻辑斯蒂回归以及它的梯度下降法
预测任务分为:前面提到用感知机进行分类时,得到了是离散变量。但是实际上是因为signsignsign函数,如果用这个函数,不就是线性回归了嘛!逻辑斯蒂回归(logistic distribution)模型适用于多类分类问题,它是对数线性模型,属于判别模型。它源自于逻辑斯蒂分布。优点:计算代价不高,易于理解和实现。缺点:容易欠拟合,分类精度可能不高。首先我们需要知道什么是sigmoidsigmoidsigmoid函数?sigmoidsigmoidsigmoid是一个在生物学中常见的S型生长曲线,sig原创 2020-11-06 16:37:52 · 3791 阅读 · 0 评论 -
同济教材的函数凹凸性与最优化问题的图像凹凸函数
参考:https://baike.baidu.com/item/%E5%87%BD%E6%95%B0%E7%9A%84%E5%87%B9%E5%87%B8%E6%80%A7/4583322?fr=aladdinhttps://www.zhihu.com/question/31160556在同济教材中学到的函数凹凸性但是看下面的函数凹凸判别法,这个国内外的说法是一致的。最优化问题的凹凸函数在使用梯度下降法求目标函数的解,如果函数是凸函数的时候就是全局最优解。此时的凸函数的形状是:定义:这.原创 2020-11-06 10:32:28 · 2045 阅读 · 0 评论 -
决策树——ID3、C4.5、CART、剪枝
文章目录前言一.模型二.策略前言决策树(decision tree)是一种基本的分类与回归方法,属于判别模型。《统计学习方法》重点讨论分类决策树。一.模型分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点类型包括:内部结点和叶结点。内部结点表示一个特征或属性,叶结点表示一个类。每一个实例的特征都只会与一条路径上的特征一致。二.策略...原创 2020-10-29 18:00:41 · 904 阅读 · 0 评论 -
感知机原理以及代码
感知器原创 2020-09-17 17:37:26 · 336 阅读 · 0 评论 -
机器学习基石笔记
一. 机器学习什么时候用事物本身存在某种潜在规律某些问题难以使用普通编程解决有大量的数据样本可供使用二. 机器学习的基本流程x 表示输入y 表示输出f: x->y 表示目标函数。要得到,但是不知道的理想函数D:{(x1,y1),(x2,y2),(x3,y3),…} 表示训练集or资料H 表示假说,一个机器学习模型可有多个假设g: x->y 从H中得到一个最好的假设,它对应的函数g与f很像,表示最终的实际函数A 机器学习的核心演算法机器学习的流程示例:三原创 2020-09-16 10:31:11 · 258 阅读 · 0 评论 -
朴素贝叶斯的原理以及代码
朴素贝叶斯前言一. 模型二. 策略三. 算法四. 求先验概率和条件概率的不同方法极大似然估计贝叶斯估计前言朴素贝叶斯法(naive bayses)是基于贝叶斯定理和条件独立假设的分类方法,属于生成模型。贝叶斯定理:条件独立假设:用于分类的特征在类确定的条件下都是条件独立的(作用是简化运算)。一. 模型通过训练集学习联合概率分布P(X,Y)。不过在此之前需要先学习先验概率和条件概率分布。先计算P(Y=c_k)这个先验概率分布:根据条件独立性假设计算P(X=x|Y=c_k)这个条件概率分布:原创 2020-10-15 11:40:30 · 694 阅读 · 0 评论 -
k近邻算法原理以及代码
前言K近邻(k-nearest neighbor, K-NN),从名字可以看出是找到k个最近的邻居。它是一种基本的分类与回归方法。虽然在《统计学习方法》中只讨论他的分类问题,但是其实回归问题也与分类问题类似。k近邻算法在我看来就是一个近朱者赤,近墨者黑的算法。一. 模型KNN没有显式的学习过程,它不像感知机需要学习得到一个超平面划分区间,收到新样本后按照划分的区域分类。KNN不对已知数据点做处理学习,待收到新样本后根据数据点直接进行处理(数k个近邻分类)。利用训练数据对特征空间的划分得到的特征空间是原创 2020-10-13 17:35:05 · 746 阅读 · 0 评论 -
统计机器学习基本概念笔记
一. 机器学习原创 2020-09-22 16:06:31 · 157 阅读 · 0 评论