机器学习
文章平均质量分 53
十里清风
星光不问赶路人,岁月不负有心人
展开
-
最大熵模型(ME)和最大熵马尔可夫模型(MEMM)
文章目录最大熵模型(Maximum Entropy Model, MEM)最大熵思想最大熵模型表示最大熵模型学习最大熵模型求解过程举例最大熵模型与极大似然估计最大熵模型与逻辑回归模型学习之改进的迭代尺度法(Improved Iterative Scaling,IIS)ME总结最大熵马尔可夫模型(Maximum Entropy Markov Model, MEMM)MEMM标注偏置问题最大熵模型(Maximum Entropy Model, MEM)最大熵思想无更多信息的情况下,最随机的推断(概率分布原创 2020-07-12 15:25:00 · 1695 阅读 · 0 评论 -
隐马尔可夫模型(HMM模型学习、概率计算、解码)
文章目录通信模型马尔可夫假设和马尔可夫过程隐马尔可夫模型和通信模型HMM模型表示HMM概率计算前向递推公式后向递推公式前后向算法之间的关系一些概率计算公式HMM模型学习监督学习方法期望最大化算法HMM预测/解码贪心近似算法维特比算法HMM局限通信模型发送者(人或机器)发送信息时,需通过媒介(空气或电线)传播信号,此过程为广义上的编码。接收者根据规则将信号还原成发送者发送的信息,此过程为广义上的解码.语音识别是接收方根据接收信号还原发送方的信息的过程,如何通过观测信号o1,o2,⋯o_1,o_2,\c原创 2020-07-11 08:57:27 · 874 阅读 · 0 评论 -
纯Numpy实现K-Means聚类
Python代码,包含距离计算、簇中心更新和可视化import matplotlib.pyplot as pltimport numpy as npimport randomdef distance(x, y): """欧式距离 input: x: shape=(n_samples, n_features) y: shape=(k, n_features) output: z: shape=(n_smaples, k)原创 2020-07-08 18:19:45 · 1059 阅读 · 0 评论 -
极端提升树XGBoost及其实践
第t次迭代基模型(CART决策树)ft(x)=argminf∑iℓ(yi,Ft−1(xi)+f(xi))+Ω(f)+constant,Ω(f)=γT+12λ∑jwj2f_t(\pmb x) = \arg\min_f\sum_i\ell(y_i,F_{t-1}(\pmb x_i)+f(\pmb x_i))+\Omega(f)+constant,\quad \Omega(f)=\gamma T...原创 2020-05-11 00:33:54 · 350 阅读 · 0 评论 -
回归和分类损失函数(MSE、MAE、Huber、Exponential、Deviance、Hinge)
指数损失和二项偏差损失给定样本x\boldsymbol xx,类别y∈{−1,+1}y\in\{-1,+1\}y∈{−1,+1},类别另一种表示y′=(y+1)/2∈{0,1}y'=(y+1)/2\in\{0,1\}y′=(y+1)/2∈{0,1}.二项偏差(Binomial Deviance)的类1概率为p(x)=P(y=1∣x)=exp(f(x))exp(−f(x))+exp(f(...原创 2020-05-06 01:48:20 · 5405 阅读 · 2 评论 -
梯度提升决策树GBDT及其sklearn实践
GBDT原理推导、分类和回归实例、skearn原创 2020-05-05 23:34:34 · 2317 阅读 · 1 评论 -
AdaBoost与指数损失
自适应增强(Adaptive Boosting,AdaBoost)是Boosting算法簇的先祖,通过集成多个弱模型成为一个强模型。H(x;Θ)=∑τατh(x;θτ)H(\pmb x;\Theta)=\sum_{\tau}\alpha_{\tau}h(\pmb x;\theta_{\tau})H(xxx;Θ)=τ∑ατh(xxx;θτ)式中hτh_\tauhτ和ατ\alpha_...原创 2020-05-05 20:11:58 · 2842 阅读 · 2 评论 -
自然语言处理:序列标注(BiLSTM-CRF)
文章目录Tagging SchemeBidirectional LSTM NetworksWhy use the CRF Networks?CRF NetworksBiLSTM-CRF networksEmission scoreTransition scoreDecodingLoss functionBi-LSTM-CRF NetworksReference:1. Bidirectional...原创 2020-04-30 21:33:47 · 1597 阅读 · 0 评论 -
感知机模型(收敛性和对偶学习)
文章目录Perceptron ModelPerceptron Model LossPerceptron Model LearningPerceptron Model Dual LearningPerceptron Model感知机判别模型f(x)=sign(w⋅x+b),sign(x)={+1,x≥0−1,x<0f(\pmb x)=\text{sign}(\pmb w\cdot\p...原创 2020-04-29 16:08:03 · 308 阅读 · 0 评论 -
特征工程(特征表示、标准化、维度灾难)
文章目录标准化特征分布式表示维度灾难标准化对于多参学习,特征缩放可保证参数在更新时以最快速度朝等高线圆心(最优值)移动.X=(x1,⋯ ,xN),xi=(xi1,⋯ ,xim)X = (\pmb x_1, \cdots, \pmb x_N),\quad \pmb x_i = (x_i^1, \cdots, x_i^m)X=(xxx1,⋯,xxxN),xxxi=(xi1,⋯,xim...原创 2020-04-29 11:58:15 · 393 阅读 · 0 评论 -
半监督生成式学习(Semi-Supervised Generative Learning)
文章目录Semi-Supervised LearningGenerative and Discriminative ModelLikelihood Function of Gaussian Mixture ModelParameter EstimationSemi-Supervised Learning半监督学习, 针对标记样本数量不足,寻找充分利用未标记样本的方法. 半监督学习一般两个基本假...原创 2020-04-29 11:28:45 · 2795 阅读 · 0 评论 -
期望最大算法和高斯混合模型(EM、GMM)
文章目录Jensen InequationExpectation Maximization, EMClassic Three-Coin ModelGaussian Mixture Model, GMM根据现有期望,计算当前模型关于各输入的结果,此过程称为期望计算过程;接下来,重新计算模型参数,以最大化期望,此过程称为最大化过程. 这一类算法称为期望最大算法,EM算法.EM算法,一般用于求解从不...原创 2020-04-29 11:15:23 · 447 阅读 · 0 评论 -
决策树基础(特征选择、ID3、C4.5、CART)
文章目录Decision TreeDT Feature SelectionInformation GainInformation Gain RatioID3C4.5Continuous ValueMissing ValueClassification and Regression Tree, CARTCART RegressionCART ClassificationCART PruningDe...原创 2020-04-29 10:52:11 · 927 阅读 · 0 评论 -
熵的基础理论(信息熵、交叉熵、霍夫曼编码、条件熵、互信息、KL散度)
Information信息量用于度量信息的不确定性,信息量与事件发生的概率有关,事件随机性越大,信息量越大.若事件XXX的信息量为I(X)I(X)I(X),由于观察两个独立事件同时发生时获得的信息量等于观察到事件各自发生时获得的信息量之和,即信息量满足I(X,Y)=I(X)+I(Y)I(X, Y)=I(X) + I(Y)I(X,Y)=I(X)+I(Y)P(X,Y)=P(X)P(Y)P...原创 2020-04-29 10:46:37 · 1581 阅读 · 0 评论 -
数理统计(参数估计、方差估计、偏差)
参数估计、方差估计、MSE、MAE、SE、MLE原创 2020-04-29 10:25:32 · 4376 阅读 · 0 评论 -
线性回归和逻辑回归(LR)
文章目录Linear RegressionLogistic RegressionPython ImplementationLinear Regression给定数据集{(x1,y1),⋯ ,(xN,yN)}\{(\pmb x_1,y_1),\cdots,(\pmb x_N,y_N)\}{(xxx1,y1),⋯,(xxxN,yN)},x∈Rn\pmb x\in\R^nxxx∈Rn,求w=...原创 2020-04-29 00:51:53 · 252 阅读 · 0 评论 -
条件随机场CRF(模型学习、概率计算、解码)
线性CRF、CRF概率计算、解码、模型学习原创 2020-04-29 00:42:49 · 1246 阅读 · 0 评论 -
机器学习:模型评估(混淆矩阵、ROC、AUC)
混淆矩阵、AUC、ROC原创 2020-04-28 23:45:25 · 657 阅读 · 0 评论 -
支持向量机(Support Vector Mechine,SVC)
线性SVM、软间隔SVM、核函数原创 2020-04-28 23:35:27 · 918 阅读 · 0 评论 -
关键词权重度量:TF-IDF算法原理及其Python实现
文章目录TFIDFTF-IDF与信息论TF-IDF(term frequency–inverse document frequency,词频-逆向文件频率) 是用于信息检索与文本挖掘的重要算法,其中TF用于度量关键词在文档中的重要性,IDF用于度量关键词在全文档中的重要性, 即文档中某关键词的重要性,与它在当前文档中的频率成正比,而与包含它的文档数成反比。TF-IDF的主要思想是,若一个关键...原创 2019-05-01 15:36:44 · 4027 阅读 · 1 评论 -
决策树DT:ID3、C4.5原理及python实现
信息增益、信息增益比、连续值与缺失值处理、剪枝处理、ID3、C4.5、CART原创 2018-10-11 23:35:21 · 416 阅读 · 0 评论 -
K近邻(KNN)算法、KD树及其python实现
knn、模型三要素、距离度量、k值选择、决策准则、kd树、python原创 2018-11-22 15:36:38 · 7486 阅读 · 1 评论 -
朴素贝叶斯法原理及其python实现
朴树贝叶斯的原理与分类实现模型描述假设XXX是定义在输入空间X∈Rn{\mathcal X}\in \R^nX∈Rn上的随机向量,YYY是定义在输出空间Y={c1,c2,⋯&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;ThinSpace;,cK}\mathcal Y=\{c_1,c_2,\cdots,c_K\}Y={c1,c2,⋯,cK}上的随机向量,P(X,Y)P(X, Y)P(X,Y)是XXX和YYY的联合概率分布,训...原创 2018-12-10 16:56:25 · 9394 阅读 · 1 评论