机器学习
huahuahuahhhh
一步一步,慢慢来
展开
-
ROC曲线 vs Precision-Recall曲线
ROC曲线 vs Precision-Recall曲线ROC: TPR - FPRPR曲线:Precision - RecallROC曲线的优势 ROC曲线有个很好的特性:当测试集中的正负样本的数量变化的时候,ROC曲线能够保持稳定 TPR=TPTP+FNTPR = \frac{TP} {TP+FN}TPR=TP+FNTP,与下图的左半部分,即与正样本相关。 FPR=FPFP+TNFPR = \frac{FP} {FP+TN}FPR=FP+TNFP,与下图的右半部分,即与负样本转载 2020-12-20 19:16:22 · 411 阅读 · 0 评论 -
AP、mAP计算
概念AP计算 PR曲线的与坐标轴围成的图形的面积mAP 所有类别的AP的均值参考链接https://www.bilibili.com/video/BV1ez4y1X7g2?from=search&seid=13320469311104224558sklearn中计算AP的函数sklearn.metrics.average_precision_score(y_true, y_score, average=‘macro’, sample_weight=None)y_true:标签y_sco原创 2020-12-20 18:00:12 · 925 阅读 · 0 评论 -
scipy 中的whiten函数
调用kmeans函数,kmeans中调用了whited函数。查后,发现whiten是对输入数据按标准差做归一化处理。variance=Σi=1n(xi−xmean)2nvariance = \frac{ \Sigma_{i=1}^{n}(x_{i} - x_{mean})^{2}}{n}variance=nΣi=1n(xi−xmean)2stand_devation=variancestand\_devation = \sqrt{variance}stand_devation=variance原创 2020-12-19 20:34:41 · 2158 阅读 · 2 评论 -
SDG、SGD-M实现
目标函数:y=x2y=x^{2}y=x2基于SGD和带动量的SGD的优化算法对目标函数进行优化。在单个变量进行优化时,迭代次数,及每一轮xxx的更新量,变化不大from matplotlib import pyplot as pltimport numpy as npdef func_y(x): ''' 目标优化函数 y = x**2 ''' return x**2def d(x): ''' 目标函数关于梯度的倒数 ''' r原创 2020-12-05 14:00:12 · 670 阅读 · 1 评论 -
感知机
感知机1. 模型2. 损失函数(误分类点到分类面的距离)3. 参数更新4. 总结不明白:为什么只能用SGD更新??原创 2020-11-09 19:27:24 · 108 阅读 · 0 评论 -
机器学习中矩阵向量求导
以下内容是根据刘建平的求导博客做的相关笔记一、导数的定义与布局1. 相关说明2.导数布局导数部分有分子布局和分母布局两种情况。分子布局和分母布局相差一个转置。标量对向量求导布局向量对向量求导布局求导布局总结二、矩阵向量求导之定义法...原创 2020-05-05 13:37:30 · 712 阅读 · 0 评论 -
sklearn数据集操作API
原创 2020-03-27 10:31:26 · 191 阅读 · 0 评论 -
隐马尔科夫模型
本博客是根据隐马尔科夫模型HMM(一)HMM模型做的笔记一、背景隐马尔可夫模型用于解决:a. 基于序列的问题;b. 序列有隐藏状态和观测状态。下图表示的是一个长度为{T}的隐马尔可夫模型。其中状态序列I=(i1,i2,..,iT)I=(i_{1},i_{2},..,i_{T})I=(i1,i2,..,iT),观测序列O=(O1,O2,..,OT)O=(O_{1},O_{2},..,O...原创 2020-03-17 21:00:03 · 184 阅读 · 0 评论 -
LDA——隐狄利克雷分布
1、二项分布与β\betaβ分布1.1 二项分布随机变量XXX可取的值为{0,1}\{0,1\}{0,1},XXX取1的概率为ppp,取0的概率为1−p1-p1−p。进行nnn次随机试验,XXX取1的次数为kkk:P(X=k)=Cnkpk(1−p)n−kP(X=k)=C_{n}^{k}p^{k}(1-p)^{n-k}P(X=k)=Cnkpk(1−p)n−k1.2 β\betaβ分布f(...原创 2020-03-03 15:44:10 · 553 阅读 · 0 评论 -
贝叶斯网络
一、相对熵名词解释:相对熵,又称交叉熵,Kullback-Leible散度(KL散度)。定义说明二、互信息定义两个随机变量X和Y的互信息,定义为X,Y的联合分布和独立分布乘积的相对熵I(X,Y)=D(P(X,Y)∣∣P(X)P(Y))I(X,Y) = D(P(X,Y)||P(X)P(Y))I(X,Y)=D(P(X,Y)∣∣P(X)P(Y))三、信息增益定义信息增...原创 2020-01-16 20:21:02 · 418 阅读 · 0 评论 -
EM算法实践
一、Basic EM算法np.random.multivariate_normal(mean,convirance,size)生成多元正态分布()判断预估的分布与实际分布的顺序是否相同,需要用到样本的标签及数据特征。程序的数据是男女身高,女生标签是0,男生是1。我们有先验知识,男生的身高比女生高,所以这个通过比较模型的两个均值,即可预测的那个分布是女生,哪个是男生。通过flag表示,...原创 2020-01-10 20:44:01 · 499 阅读 · 0 评论 -
EM算法
一、前言1. Jesen不等式2、二项式分布的最大似然估计3、高斯分布的极大似然估计4、高斯混合分布二、EM算法1. EM算法的提出迭代法:找出一个下界函数r(x∣θ)r(x|\theta)r(x∣θ)(r(x∣θ)<=l(θ)r(x|\theta) <= l(\theta)r(x∣θ)<=l(θ)),在x0x_{0}x0处于l(θ)l(...原创 2020-01-08 21:13:02 · 161 阅读 · 0 评论 -
聚类 —— DBSCAN
参考维基百科1. 名词解释DBSCAN:Density Based Spatial Clustering Application with Noise核心对象直接密度达密度可达:A point q is reachable from p if there is a path p1, …, pn with p1 = p and pn = q, where each pi+1 is ...原创 2019-12-26 21:15:48 · 391 阅读 · 0 评论 -
聚类——谱聚类
参考刘建平谱聚类(spectral clustering)原理总结1. 框架2. 原理介绍2.1 相似度矩阵W2.2 无向权重图D2.3 拉普拉斯矩阵L2.4 无向切图圈出来的部分不懂...原创 2019-12-24 21:39:23 · 204 阅读 · 0 评论 -
聚类算法
kmeans算法过程kmeans++与kmeans不同之处在于初值的选择上。距离度量方式K-Means聚类算法原理用scikit-learn学习K-Means聚类BIRCH聚类算法原理scikit-learn之BIRCH类DBSCAN密度聚类算法用scikit-learn学习DBSCAN聚类谱聚类(spectral clustering)原理总结用scikit-learn学习谱...原创 2019-12-14 21:14:15 · 1125 阅读 · 0 评论 -
SVM实践
from sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitfrom sklearn import svmimport pandas as pdfrom matplotlib import pyplot as pltimport matplotlib as mplim...原创 2019-12-11 20:43:41 · 189 阅读 · 0 评论 -
SVM
一、支持向量机分类二、线性可分支持向量机训练数据集T=(x1,y1),(x2,y2),...,(xn,yn)T = {(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{n},y_{n})}T=(x1,y1),(x2,y2),...,(xn,yn),二分类问题,数据线性可分,SVM思想是找出一个分割面$ wx + b = 0$,将两个类别分开,使得两个类别的样...原创 2019-12-04 21:10:32 · 148 阅读 · 0 评论 -
XGBoost
一、XGBoost数据形式XGBoost数据是以xgboostDMatrix格式。如下图所示,每行的第一列是标签,其余行表示的是特征,用:区分列号及其取值。特征中,未列出列号的列值为0二、处理流程1. 数据准备data_train = xgb.DMatrix('agaricus_train.txt')data_test = xgb.DMatrix('agaricus_test.txt'...原创 2019-11-30 14:51:11 · 589 阅读 · 0 评论 -
集成学习
一、集成学习对于训练集数据,通过训练若干个个体学习器,通过一定的结合策略,形成一个强学习器。二、Boosting模型下一个子学习器,在当前学习器的基础上生成。最后,通过结合策略,将子学习器间的输出结合起来。训练样本有权值,每次得到一个新的分类器后,会更新训练集中样本的权值。参考刘建平–集成学习https://www.cnblogs.com/pinard/p/6131423.html...原创 2019-11-25 13:18:07 · 209 阅读 · 0 评论 -
决策树
一、信息熵变量XXX的取值xix_{i}xi,取这些值的概率为p(xi)p(x_{i})p(xi)H(p)=−Σi=1np(xi)log(p(xi))H(p)=-\Sigma_{i=1}^{n} p(x_{i})log( p(x_{i}))H(p)=−Σi=1np(xi)log(p(xi))...原创 2019-11-18 16:47:30 · 179 阅读 · 0 评论 -
sklearn:auc、roc_curve、roc_auc_score
sklearn.metrics.auc作用:计算AUC(Area Under the Curve)metrics.roc_curv...转载 2019-10-29 16:34:04 · 1263 阅读 · 0 评论 -
ROC与AUC的定义与使用详解
在csdn看到好的文章想转载,无奈找不到转载的功能,只能想办法了。首先确定原文允许转载在文章开头处一般有版权声明,如图转载时要注明出处和作者如何转载用谷歌浏览器加载文章地址,打开文章F12打开Developer Tools,并打开Elements页面将文章开头部分的文字作为关键字在Elements界面搜索以此文为例:h...转载 2019-10-29 16:09:23 · 363 阅读 · 0 评论 -
机器学习算法(一)
一、线性回归给定一组数据(xi,yi)(x_{i},y_{i})(xi,yi),yiy_{i}yi是连续的,用线性模型y^i=hθ(xi)=θTxi\hat{y}_{i}=h_{\theta}(x_{i})=\theta^{T}x_{i}y^i=hθ(xi)=θTxi,估计值y^i\hat{y}_{i}y^i与实际值yiy_{i}yi间存在误差εi\varepsilon_{...原创 2019-10-23 16:01:56 · 318 阅读 · 0 评论 -
机器学习与数学分析(二)
概率公式贝叶斯公式两点分布二项式分布求和的过程是二项式展开的逆过程(a+b)n=Cn0bn+Cn1abn−1+...+Cnkakbn−k+...+Cnnan(a+b)^{n} = {C_{n}}^{0}b^{n}+{C_{n}}^{1}ab^{n-1}+...+{C_{n}}^{k}a^{k}b^{n-k}+...+{C_{n}}^{n}a^{n}(a+b)n=Cn0bn+...原创 2019-09-05 21:44:46 · 195 阅读 · 0 评论 -
机器学习与数学分析(一)
机器学习过程用EM算法推测高斯混合模型(GMM)去均值ICA分离SVMHMM分词:MLELDA --主题分布 舆情分析且e的近似值from matplotlib import pyplot as pltdef f_n(n): if n<0: return r = 1 # 存储n! s = 1 if n==0:...原创 2019-08-24 16:18:45 · 368 阅读 · 0 评论 -
降维方法小结
降维方法用于降低数据维度,用更少的变量来表达高维的信息,让原始的数据更易于分类PCALDASVD原创 2019-05-28 15:07:35 · 531 阅读 · 0 评论