机器学习
SpartanBin
这个作者很懒,什么都没留下…
展开
-
范数
范数,一种表示不同维度距离概念的量: 为范数符号,比如 范数 的计算公式为 ,这也是我们常见的欧氏距离公式。 为绝对值符号, 为x向量的维度。L1范数和L2范数常用于机器学习的正规化,L2更常用一些。...原创 2019-07-02 22:33:34 · 342 阅读 · 0 评论 -
数据归一化、中心化
一般在进行机器学习前需要进行该处理,特别是支持向量机和神经网络,决策树系列就不需要进行该处理。' 是经过归一化、中心化后的训练样本,用以代替原样本, 是平均数, 是方差,注意x' 、 、 、 、σ 等都是向量。注意有时候也可以不中心化(不减 ),或不归一化(不除以 ),甚至都不进行。...原创 2019-07-03 14:50:39 · 708 阅读 · 0 评论 -
常见机器学习降维方法
一般在维度数量很多,严重影响到训练速度的情况下再考虑降维,降维必不可少的会减少原数据的信息量(减小方差)。维数诅咒:越高维的数据,样本分布于边界的成分越大,样本之间的距离越远,样本越稀疏,因此越高维的数据的预测越不可靠,它们基于的推测越大,过拟合的风险也越大。投影类:PCA(主成分分析法):在进行PCA前应进行中心化。PCA的思想是找到最能代表数据特征的超平面(投影后方差减少最...原创 2019-07-03 15:01:18 · 686 阅读 · 0 评论 -
Softmax(归一化指数函数)
在讲softmax前先讲softmax的二分类情况,也就是logistics regression(逻辑回归),虽然它叫回归,但是它是分类器,注意!!!逻辑回归:是二分类,用来估计某个实例属于特定类别的概率,概率估算:代价函数:简单来说就是需要让原本属于正类的样本的p值提升,让原本属于负类的p值减小。用优化器求解softmax:softmax是逻...原创 2019-07-03 16:02:15 · 5256 阅读 · 0 评论 -
贝叶斯学派机器学习
贝叶斯学派的机器学习方法有一些共同点,首先是都使用贝叶斯公式,其次它们的目的都是最大化后验函数,只是它们对后验函数的定义不相同。朴素贝叶斯分类器:朴素贝叶斯分类器是假设影响分类的属性(每个维度)是独立的,每个属性对分类结果的影响也是独立的。也就是说需要独立计算每个属性的后验概率,并将它们相乘作为该样本的后验概率。在进行模型训练时,如果属性是离散值,可直接用属性类除以该属性的总数得...原创 2019-07-03 18:20:42 · 680 阅读 · 0 评论 -
支持向量机
本人的博客写作目的只是为了编程实现,因此更注重算法逻辑和细节,如果对原理感兴趣,推荐看“西瓜书”和“花书”以及以下链接,但不保证链接中的公式都正确:https://www.cnblogs.com/Belter/p/8975606.htmlhttps://blog.csdn.net/qq_35992440/article/details/80987664支持向量机可以分为硬间隔支持向量机...原创 2019-07-04 20:18:46 · 267 阅读 · 0 评论 -
决策树
决策树是一种简单,决策过程清晰的白盒模型,优势在于训练前不用对数据进行归一化、中心化,决策树有ID3(Iterative Dichotomiser 3)、C4.5、C5.0、CART(Classification and Regression Trees)共4种常见的构建方式,sklearn用的CART实现,以下介绍树节点分裂的一些标准: 为基尼系数, 是第i个节点上,类别为k的训练样...原创 2019-07-04 20:22:54 · 143 阅读 · 0 评论 -
集成学习
投票分类器:训练多个分类器,如:逻辑回归、支持向量、决策树、最邻近等,进行分类时几个分类器投票,得票最多的类为最终输出(这种方法被称为硬投票方式)。如果以上几个分类器都能输出概率,则可以将他们的结果进行概率平均(这种方法被称为软投票方式),这样效果会略好于直接投票。bagging和pasting:bagging(自举汇聚法)是bootstrap aggregating的缩写,是一种有放...原创 2019-07-04 20:25:02 · 152 阅读 · 0 评论 -
前馈式神经网络
前馈式神经网络形似是多层、多神经元感知机,同样有梯度下降系列算法求解,因有多层、多个神经元,所以每层都有自己的导函数(梯度),“前馈式”的含义即首先解最靠近输出层的层的梯度,最后推到输入层。神经网络由三个部分构成:1.输入层、2.隐藏层、3.输出层。输入层神经元个数需要与维度数量相同,隐藏层层数和神经元个数可以随意,输出层神经元个数与任务有关,比如多分类单标签任务,神经元个数与类的个数应相同,...原创 2019-07-04 20:35:08 · 1305 阅读 · 0 评论