机器学习
qq_41393570
这个作者很懒,什么都没留下…
展开
-
sklearn之svn
svm1.svm理论:https://apachecn.gitee.io/ailearning/#/docs/ml/62.Sklearn参数详解—SVM:https://cloud.tencent.com/developer/article/1146077https://www.cnblogs.com/solong1989/p/9620170.html3.svc和nusvc的区别c-svc和 nu-svc本质差不多c-svc中c的范围是1到正无穷nu-svc中nu的范围是0到原创 2021-02-21 23:03:40 · 335 阅读 · 0 评论 -
XGBoost简单理解
GBDT与XGBOOST比较XGBoost对GBDT的改进1 . 避免过拟合目标函数之外加上了正则化项整体求最优解,用以权衡目标函数的下降和模型的复杂程度,避免过拟合。基学习为CART时,正则化项与树的叶子节点的数量T和叶子节点的值有关。 2 . 二阶的泰勒展开,精度更高不同于传统的GBDT只利用了一阶的导数信息的方式,XGBoost对损失函数做了二阶的泰勒展开,精度更高。 第t次...原创 2018-07-29 23:30:58 · 930 阅读 · 0 评论 -
机器学习(十一)——提升方法
集成学习:通过构建并结合多个学习器来完成学习任务集成学习方法大致可以分为两大类:a.个体学习器间存在强依赖关系,必须串行生成序列化方法——代表:Boosting;b.个体学习器间不存在强依赖关系,可同时生成的并行化方法——代表:Bagging和”随机森林“一、BoostingBoosting的工作机制类似:先从初始训练集训练出一个基学习器(算法+数据),再根据基学习器的表现对训练样本分...原创 2018-07-17 11:00:14 · 2078 阅读 · 1 评论 -
机器学习(十二)——隐马尔可夫模型
一、隐马尔科夫模型的基本概念1、马尔可夫链:时刻t+1下状态的概率分布只与时刻t下状态有关,与该时刻以前的状态无关。 数学公式表达: 图形表示: 2、隐马尔可夫模型:状态(z)不可直接观测的马尔可夫链。 HMM由初始概率分布π、状态转移概率分布A以及观测概率分布B确定。 描述整个隐码模型...原创 2018-07-02 20:34:08 · 393 阅读 · 0 评论 -
机器学习(八)——聚类
本次笔记目标:第一章节:相似度的度量方法及联系第二章节:掌握K-means聚类的思路和使用条件第三章节:层次聚类第四章节:密度聚类(DBSCAN、密度最大值聚类)第五章节:谱聚类第一章节:相似度的度量方法及联系1.1 聚类的定义: 聚类就是对大量位置标注的数据集,按数据的内在相似性将数据集划分为多个类别,使类别内的数据相似度较大而类别间的数据相似度较小。1.2 相似度/距离...原创 2018-06-09 15:05:46 · 683 阅读 · 0 评论 -
随机森林
随机森林思想Bagging的策略:从样本集中重采样(有可能存在重复)选出n个样本在所有属性上,对这n个样本建立分类器(ID3、C4.5、CART、SVM、Logistic回归等)重复上面两步m次,产生m个分类器将待预测数据放到这m个分类器上,最后根据这m个分类器的投票结果,决定待预测数据属于那一类(即少数服从多数的策略)在Bagging策略的基础上进行修改后的一种算法从样本集中用Bootstrap...原创 2018-05-31 21:28:18 · 360 阅读 · 0 评论 -
聚类相似度的方法间联系
一、相似度方法二、方法间的联系2.1 欧式距离欧式距离,以空间为基准的两点之间最短距离。说的通俗点,两点之间直线最短的概念。例:二维空间中2.2 杰卡德相似系数两个集合A和B的交集元素在A,B的并集中所占的比例,称为两个集合的杰卡德相似系数,用符号J(A,B)表示。卡德相似系数是衡量两个集合的相似度一种指标。2.3 余弦相似度几何中夹角余弦可用来衡量两个向量方向的差异,机器学习中借用这一概念来衡量...原创 2018-06-07 21:30:19 · 4933 阅读 · 0 评论 -
机器学习(十)——贝叶斯分类器
第一章节 贝叶斯决策论贝叶斯决策论是概率框架下的实施决策的基本方法;贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。1 贝叶斯基本原理目的:通过误判损失最小化得到 过程:参考周志华《机器学习》的贝斯决策论 不难看出,欲使用贝叶斯判定准则来最小化决策风险,首先要获得后验概率P(c\x)-----(下面的截图中c和x改为A和D) 对于...原创 2018-06-14 16:09:49 · 455 阅读 · 0 评论 -
朴素贝叶斯法
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。具体地,学习先验概率分布和条件概率分布。朴素贝叶斯分类的流程:...原创 2018-06-13 23:17:59 · 158 阅读 · 0 评论 -
机器学习(七)——svm(支持向量机)
思路简写,后期重新改写模型:线性分类模型,属于判别模型策略:间隔最大化具体参考:https://blog.csdn.net/v_july_v/article/details/7624837原创 2018-06-04 22:39:15 · 147 阅读 · 0 评论 -
机器学习(六)——决策树和随机森林
参考网上 综合整理决策树与随机森林本篇博客将重新给出对决策树与随机森林的认识。主要分析决策树的学习算法:信息增益和ID3、C4.5、CART树,然后给出随机森林。 决策树中,最重要的问题有3个: 1. 特征选择。即选择哪个特征作为某个节点的分类特征; 2. 特征值的选择。即选择好特征后怎么划分子树; 3. 决策树出现过拟合怎么办? 下面分别就以上问题对决策树给出解释。决策树往往是递归的选择最优特征...原创 2018-05-28 22:24:43 · 1080 阅读 · 0 评论 -
机器学习(九)——EM算法
缺少:推导GMM 通过坐标上升理解EN的过程 1.为什么要用EM算法2.为什么EM算法中Q函数如此定义,且迭代计算Q函数及其最大? EM算法的流程:1 拿到所有的观测样本,根据先验或者喜好先给一个参数估计。2 根据这个参数估计和样本计算类别分布Q,得到最贴近对数似然函数的下界函数。3 对下界函数求极值,更新参数分布。4...原创 2018-06-11 16:35:23 · 477 阅读 · 0 评论 -
机器学习(四)——凸优化
参考凸优化(一):https://blog.csdn.net/xierhacker/article/details/61415747凸优化(二):https://blog.csdn.net/xingce_cs/article/details/73648609凸优化(三):https://blog.csdn.net/xingce_cs/article/details/73715903凸优化(四):h...原创 2018-05-23 00:05:49 · 1709 阅读 · 0 评论 -
机器学习(五)——回归
一. 线性回归1.1线性回归基本原理参考:https://www.cnblogs.com/pinard/p/6004041.html1.2 线性回归的损失函数推导(图形理解) 原理: 极大似然估计采用的是高斯分布详细推导公式参考:暂定(ppt)1.3 线性回归的损失函数的正规解详细推导公式参考:暂定(ppt)1.4 线性回归的损失函数的梯度...原创 2018-05-26 15:35:32 · 362 阅读 · 0 评论 -
机器学习(三)——矩阵和线性代数
矩阵 SVD 矩阵的乘法状态转移矩阵状态转移矩阵特征值和特征向量 对称阵 正交阵 正定阵数据白化矩阵求导 向量对向量求导 标量对向量求导 标量对矩阵求导一.矩阵1.1 SVD奇异值分解(Singular Value Decomposition),假设A是一个m×n阶矩阵,则存在一个分解使得 Σ对角线上的元素称为矩阵A的奇异值; U的第i列称为A的关于σi的左奇异向量;...原创 2018-05-20 23:18:33 · 927 阅读 · 0 评论 -
机器学习(二)——数理统计与参数估计
概率论:期望;方差;偏度;峰度协方差;相关系数;独立相关性;数理统计:大数定理;切比雪夫不等式;矩估计;极大似然估计1、统计量概念1.1 期望 从感情上来讲就是预期的值,数值意义上来讲可以认为是概率加权下的“平均值”。 特别地,若特征X和Y相互独立时,E(XY)=E(X)E(Y);反之不成立。如果已知E(XY)=E(X)E(Y),只能说明X和Y不相关。那么不相关和独立有...原创 2018-05-19 22:20:47 · 2827 阅读 · 0 评论 -
机器学习(一)——数学分析与概率论
数学分析导数:曲线变化快慢的反应Taylor公式——Maclaurin:方向导数:;梯度: 梯度本意是一个向量(矢量),表示某一函数再该点处的方向导数沿着该方向取得最大值概率论基础条件概率: 全概率:贝叶斯公式:常见的概率分布:指数分布:暂定概率分布参考:https://blog.csdn.net/kicilove/article/details/7865585...原创 2018-05-19 11:21:24 · 888 阅读 · 0 评论