![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 85
潜心修行的研究者
潜心修行
展开
-
机器学习实战第七章 - 利用AdaBoost元算法提高分类性能
一,AdaBoost概述AdaBoost是adaptive boosting(自适应boosting)的缩写。 AdaBoost是一种Boosting族的集成学习方法。弱学习器之间是强依赖序列化的,即不同的学习器是通过串行训练而获得的,每个新分类器都根据已训练出来的分类器的性能来进行训练。Boosting是通过集中关注被已有分类器错分的那些数据来获得新的分类器。AdaBoost特点如下:...原创 2018-03-08 17:10:44 · 1199 阅读 · 0 评论 -
机器学习中的参数估计问题
最大似然估计、最大后验估计和贝叶斯估计概述如下: 一,最大似然估计-MLE(频率派)最大似然估计: 给定一个数据集DDD且假设我们已知该数据集的分布,这个分布的参数θθ\theta是固定的,不服从任何分布。MLE的目标就是找出一组参数θ⃗ =(θ1,θ2,...,θn)θ→=(θ1,θ2,...,θn)\vec{\theta}=(\theta_1,\theta_2...原创 2018-01-14 23:32:21 · 2186 阅读 · 0 评论 -
信息论基础(包含最大熵模型)
一,基础1,熵如果X 是一个离散型随机变量,其概率分布为p(x)=P(X=x)p(x)=P(X=x)p(x) = P(X = x),x∈Rx∈Rx\in R。X 的熵H(X) 为H(X)=−∑x∈Rp(x)log2p(x)H(X)=−∑x∈Rp(x)log2p(x)H(X)=-\sum_{x\in R}{p(x)log_2p(x)}其中,约定0log 0 = 0。 H(X) 也可以写...原创 2018-04-03 23:50:31 · 1180 阅读 · 0 评论 -
EM算法的点滴
虽然EM算法只能保证找到局部最优,但应用地仍然十分广泛,而且十分有效。1,EM算法 for NB Model with Missing Labels2,EM算法的通用形式3,EM算法与一般的MLE的关系结合上图与下图即可看出两者的关系。 ...原创 2018-05-14 17:52:33 · 249 阅读 · 0 评论 -
蒙特卡罗方法
蒙特卡罗方法一,采样和蒙特卡罗方法为什么需要采样当我们需要以较小的代价近似许多项的和或某个积分时,采样是一种很灵活的选择。蒙特卡罗采用的基础蒙特卡罗方法的思想是把这个和或者积分视作某分布下的期望,然后通过估计对应的平均值来近似这个期望。令: s=∑xp(x)f(x)=Ep[f(x)]s=∑xp(x)f(x)=Ep[f(x)]s=\sum_xp(x)f(x)=...原创 2018-06-16 15:30:21 · 3363 阅读 · 0 评论 -
深度学习的一些重点总结
深度学习总结一,变分推断变分推断通过使用已知简单分布来逼近需推断的复杂分布,并通过限制近似分布的类型,从而得到一种局部最优、但具有确定解的近似后验分布。在现实生活中,E步对p(z|x,Θt)p(z|x,Θt)p(z|x,\Theta^t)的推断很可能因为z⃗ z→\vec z模型的复杂而难以进行,此时可以借助变分推断。通常假设z⃗ z→\vec z服从分布: ...原创 2018-06-16 15:39:59 · 1007 阅读 · 0 评论 -
强化学习点滴
强化学习Agent learns to take actions maximizing expected reward or expected cumulative reward per episode.基于模型的方法无模型的方法首先得说一下这里的模型指的是什么。**model就是用来预测环境接下来会干什么,即在这一状态的情况下执行某一动作会达到什么样的状态,这一个动作会得到什么re...原创 2019-05-24 10:35:57 · 247 阅读 · 0 评论 -
CRFs及其应用
CRFs及其应用模型原理基本思路:给定观察序列XXX,输出标识序列YYY,通过计算P(Y∣X)P(Y|X)P(Y∣X)求解最优标注序列。CRFs和HMMs的区别:CRFs中特征函数(全局特征函数)统一表示为:Fj(Y,X)=∑i=1nfj(yi−1,yi,X,i)F_j(Y,X)=\sum_{i=1}^{n}f_j(y_{i-1},y_i,X,i)Fj(Y,X)=i=1∑nfj...原创 2019-05-24 10:47:56 · 3247 阅读 · 0 评论 -
LR和SVM的区别
LR和SVM的区别相同点:都是线性分类器;都是判别模型;损失函数目的都是增大对数据分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重。不同点:本质上是损失函数不同:LR损失函数为logloss:J(θ)=−1m[∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]J(\theta)=-\frac{1}{m}\left[\...原创 2019-05-24 11:14:05 · 1064 阅读 · 0 评论 -
机器学习实战第五章 - Logistic回归(包括GD和SGD的比较)
一,Logistic回归 优点:计算代价不高,易于理解和实现。缺点:容易欠拟合,分类精度可能不高。适用数据类型:数值型和标称型。主要就是利用sigmoid函数σ(z)=11+exp−zσ(z)=11+exp−z\sigma(z)=\frac{1}{1+exp^{-z}}的特点,如下图所示: 令z=WTXz=WTXz=W^TX,如果z>0z>0z>0即σ(z)>...原创 2018-03-05 16:53:10 · 1574 阅读 · 0 评论 -
分类效果最好的经典机器学习算法-SVM
SVM整体框架原创 2018-03-05 17:30:01 · 1685 阅读 · 0 评论 -
机器学习实战第十一章 - 使用Apriori算法进行关联分析
一,关联分析(或关联规则学习)关联分析是一种在大规模数据集中寻找有趣关系的任务。这些关系主要有两种形式:频繁项集:经常出现在一块的物品的集合。关联规则:暗示两种物品之间可能存在很强的关系。量化关联分析是否成功的评价准则也有两个:支持度(support):支持度是针对频繁项集来定义的,一个项集的支持度被定义为数据集中包含该项集的记录所占的比例。置信度(confidence)...原创 2018-03-11 15:01:20 · 960 阅读 · 1 评论 -
机器学习实战第一章-机器学习基础
一,开发机器学习应用程序的步骤收集数据准备输入数据分析数据:在此阶段可以对原始数据填充空值、过滤垃圾数据(如异常数据)、进行特征选择与特征降维、可视化分析等等。训练算法测试算法应用算法 二, Python语言实现机器学习算法的优势语法简单清晰易于处理纯文本文件使用广泛,存在大量的开发文档科学函数库:Scipy & Numpy;绘图工具库:Matplotlib等等原创 2018-01-30 10:37:33 · 454 阅读 · 3 评论 -
机器学习实战第二章-k近邻算法(包含一些python绘图基础)
一,k近邻算法概述k近邻算法是一种简单有效但并不高效的非线性分类方法。优点:精度高,对异常值不敏感、无数据输入假设。缺点:计算复杂度高、空间复杂度高。使用数据范围:离散型和连续型。二,k近邻算法的核心步骤对未知类别属性的数据集中的每一个点依次执行以下操作: 1. 计算已知数据集中的点与当前点之间的距离。 2. 按照距离递增次序排序。 3. 选取与当前点距离最...原创 2018-02-04 11:33:26 · 612 阅读 · 0 评论 -
机器学习实战第十三章-利用PCA来简化数据
一,降维技术1,降维的作用使得数据集更易使用。降低算法的计算开销。去除噪声。使得结果易懂。2,降维技术的方法PCA因子分析:我们假设观察数据的生成中有一些观测不到的隐变量,观测数据是这些隐变量和噪声的线性组合。隐变量的数目少的话就可以通过隐变量实现降维。独立成分分析:类似因子分析,它假设观察数据是由隐含的几个数据源生成(或者说是从某几种数据分布中采样生成)。原创 2018-02-05 21:42:49 · 642 阅读 · 0 评论 -
机器学习实战第十四章-利用SVD简化数据
一,什么是SVDSVD(Singular Value Decomposition):奇异值分解。 基本知识如下图所示: 其中U和V都可以作为高维转低维的转换矩阵将原始高维冗余数据转换到一个低维无冗余语义空间中,从而实现数据的降维。SVD的应用优点:简化数据,去除噪声,提高算法的结果。缺点:数据的转换可能难以理解。适用数据类型:数值型数据。应用:LSA/LSI(隐性语...原创 2018-02-20 19:53:31 · 620 阅读 · 2 评论 -
机器学习实战第三章-决策树
一,决策树概述原创 2018-02-21 14:29:43 · 297 阅读 · 0 评论 -
机器学习实战第四章-朴素贝叶斯
一,朴素贝叶斯概述基于贝叶斯决策理论的分类方法,本质是一种线性分类,通过最大后验概率来找到最有可能的类别。(而最大后验概率等价于使用0-1损失函数的期望风险最小化)。 优点:在数据较少的情况下仍然有效,可以处理多类别问题。缺点:对于输入数据的准备方式较为敏感。适用数据类型:标称型数据。二,朴素贝叶斯原理贝叶斯公式如下: p(c|x)=p(x|c)p(c)p(x)p(c...原创 2018-02-21 18:11:12 · 332 阅读 · 0 评论 -
机器学习实战第八章 - 预测数值型数据:回归
一,线性回归1,线性回归的特点线性回归优点:结果易于理解,计算上不复杂缺点:对非线性的数据拟合不好适用数据类型:数值型和标称型数据2,线性回归的要素(1)线性回归模型:h(xi)=xTi∗wh(x_i) = x_i^T*w (2)目标函数:J(w)=12m∑i=1m(yi−h(xi))J(w) = \frac{1}{2m}\sum_{i=1}^{m}(y_i-h(x_i)) (3)最优原创 2018-03-16 13:46:26 · 560 阅读 · 0 评论 -
机器学习实战第十章 - K均值聚类算法
一,K均值聚类算法1,特点优点:容易实现。缺点:可能收敛到局部最小值,在大规模数据集上收敛较慢。适用数据类型:数值型数据。2,伪代码创建k个点作为起点质心(经常是随机选择)当任意一个点的簇分配结果发生改变时 对数据集中的每个数据点 对每个质心 计算质心与数据点之间的距离 将数据点分配到距其最近的簇...原创 2018-03-10 19:40:45 · 604 阅读 · 0 评论 -
ML复习总结
1. ML基础1.1 两个基本理论奥卡姆剃刀:它是常用的、自然科学研究中最基本的原则,即"若有多个假设与观察一致,则 选择最简单的那个"。没有免费午餐定理:任何算法的期望性能都一样。在某些问题上表现好的算法,在另一些问题上却可能不尽如人意,学习算法自身的归纳偏好与问题是否相配,旺往往会起到决定性的作用。1.2 监督学习监督学习的模型可以是概率模型或非概率模型,由条件概率分布P(Y∣X...原创 2019-05-24 11:28:43 · 456 阅读 · 0 评论