![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 90
lankuohsing
自动化研究生
展开
-
如何衡量两个分布的相似性(更新中)
https://blog.csdn.net/fengdu78/article/details/114325589https://www.cnblogs.com/arkenstone/p/5496761.html原创 2022-01-13 22:43:28 · 4095 阅读 · 0 评论 -
机器学习之概率图模型
文章目录0. 背景介绍1. 隐马尔科夫模型(Hidden Markov Model, HMM)1.1. HMM的数学定义1.2. HMM的实际应用问题描述1.3. 马尔科夫随机场(Markov Random Field, MRF)2. 条件随机场(Conditional Random Field, CRF)2.1. CRF的数学定义2.2. 特征函数的例子参考资料:《机器学习》——周志华https://blog.csdn.net/continueoo/article/details/7789358.原创 2020-08-26 22:47:29 · 505 阅读 · 0 评论 -
排序模型入门详解(未完待续)
排序模型入门详解文章目录排序模型入门详解1. 排序模型的应用场景point-wise排序模型pair-wise排序模型Ranknethttps://yq.aliyun.com/articles/181. 排序模型的应用场景当商家需要向用户提供多个商品供选择时,往往会遇到这个问题:如何将商品按照一定的顺序呈现给用户,以便使用户能够尽可能地完成购买流程?这就涉及到对商品的排序,用到的模型称排...原创 2019-10-31 00:13:52 · 5727 阅读 · 0 评论 -
集成学习之梯度提升树(GBDT)原理详解
文章目录1. 梯度提升(Gradient Boosting)的思想2. gradient boosting的通用算法流程3. 将回归树作为基学习器,得到GBDT算法3.1. 回归树介绍3.2. 将回归树应用到gradient boosting中3.3. GBDT算法流程参考https://www.cnblogs.com/massquantity/p/9174746.html1. 梯度提升(Gradient Boosting)的思想Gradient Boosting和Adaptive Boostin.原创 2021-11-17 23:59:38 · 1028 阅读 · 0 评论 -
集成学习之AdaBoost原理详解
文章目录1. AdaBoost的思想2. 数学定义和推导2.1. 决策推理过程的输出表达式定义2.2. 优化训练过程中的迭代表达式推导2.3. 由迭代过程表达式得到的几个结论2.3.1. 基学习器GM(x)G_M(x)GM(x)2.3.3. 下一轮样本权重wi(M+1)w_i^{(M+1)}wi(M+1)2.3.4. 各基学习器的系数αM\alpha_MαM3. Adaboost流程图参考:https://www.cnblogs.com/massquantity/p/9063033.html1.原创 2021-11-13 23:43:24 · 1554 阅读 · 0 评论 -
机器学习之特征选择(更新中)
文章目录1. 基于信息增益的方法1.1. 信息熵1.2. 条件熵1.3. 信息增益1.4. 信息增益在分类问题中的作用1. 基于信息增益的方法1.1. 信息熵假设XXX是取有限个值{x1,x2,⋯ ,xn}\{x_1,x_2,\cdots,x_n\}{x1,x2,⋯,xn}的随机变量,其概率分布为P(X=xi)=pi,i=1,2,n(1-1)P(X=x_i)=p_i, i=1,2,n\tag{1-1}P(X=xi)=pi,i=1,2,n(1-1)则速记变量XXX的熵定义为:H(X.原创 2021-08-06 22:43:45 · 417 阅读 · 0 评论 -
机器学习基础之线性回归详解
文章目录1. 线性回归问题的数学描述2. 最小均方算法(LMS, Least Mean Square)2.1. 只有一个样本的情况2.2. 多个样本的情况2.3. 线性回归的闭式解(解析解)3. 线性回归模型的假设1. 线性回归问题的数学描述记xxx为n维的输入特征,θ\thetaθ为参数(parameter),也叫权重(weight),假设函数为以xxx为变量的线性函数:(1-1)hθ(...原创 2019-06-14 00:40:19 · 786 阅读 · 1 评论 -
你真的学懂了线性回归和logistic回归吗?——从指数族分布说起
文章目录1. 回顾机器学习的基本思想2. 指数族分布2.1. 指数族分布由来的推导2.2. 指数族分布的特殊情形:伯努利分布和高斯分布1. 回顾机器学习的基本思想机器学习所要实现多任务往往是:给定一组训练数据DDD,我们希望通过DDD得到我们研究的输入空间的概率分布。或者换句话讲,我们想用一个概率分布来尽可能准确地描述这组训练数据的分布。这样,我们就可以对给定的一个测试数据,找出条件概率最大...原创 2019-08-11 16:41:06 · 2161 阅读 · 4 评论 -
通俗理解误差、偏差、方差以及它们和过拟合、欠拟合之间的关系.
文章目录0. 引言1. 误差、偏差和方差的数学定义2. 偏差与方差的直观理解3. 偏差、方差与欠拟合、过拟合的关系4. 欠拟合、欠拟合的产生原因及解决方案0. 引言作为一名算法工程师,在利用算法模型解决实际问题时,模型的欠拟合、过拟合问题是无论如何都无法回避的。这两个问题的表象相比很多人都知道,但是涉及到它们背后的产生原因、本质以及解决方法,要说清楚还是不容易的。1. 误差、偏差和方差的数学定义误差(error)的概念有两类,一类是数据本身带来的噪声,一般假设服从均值为0的高斯分布,记为ϵ∼N(0.原创 2021-07-11 23:26:43 · 2381 阅读 · 0 评论 -
自然语言处理任务之文本分类入门详解(未完待续)
文章目录0. 文本分类简介1. 数据集介绍2. 模型选择参考链接:https://developers.google.com/machine-learning/guides/text-classification0. 文本分类简介文本分类在很多软件产品中都占据重要位置,很多智能应用都用到了文本分类模型。有的是将文本分类的结果作为输入以便进行后续其他任务,例如对话系统中的意图识别;有的是直接将文本分类结果最为任务的输出,例如垃圾邮件过滤、评论情感分类等等。无论何种场景,文本分类的准确程度都是一个很关键.原创 2020-10-21 00:17:57 · 390 阅读 · 0 评论 -
机器学习之特征离散化
文章目录1. 特征离散化的作用2. 特征离散化可以引入非线性的证明李沐曾说过,模型是使用离散特征还是连续特征,其实是一个“海量离散特征+简单模型” 同 “少量连续特征+复杂模型”的权衡。既可以离散化用线性模型,也可以用连续特征加深度学习。就看是喜欢折腾特征还是折腾模型了。通常来说,前者容易,而且可以n个人一起并行做,有成功经验;后者目前看很赞,能走多远还须拭目以待。1. 特征离散化的作用在实际工作中,需要使用譬如LR这种线性分类器的时候,往往需要将特征离散化成0/1特征,之后再进行模型训练。这样的好.原创 2020-09-15 23:08:05 · 950 阅读 · 0 评论