![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 87
小屁猴多看书
这个作者很懒,什么都没留下…
展开
-
机器学习方法总结(一)
机器学习方法概论 说明:本教程的主要目的是个人秋招复习,适用于一些有基础的同学进行复习,主要来自于对统计学习方法和西瓜书的整理,所以不适用于系统学习,详细内容大家可以看书。其中加入个人的理解和各个算法是实例,由于理解不够导致的错误还请各位指出。 1.特点与分类 1.统计学习方法是基于数据构建概率统计模型并运用模型进行预测 与分析。 2.统计学习方法可分为监督学...原创 2018-07-18 11:50:56 · 1235 阅读 · 0 评论 -
机器学习方法总结(十):条件随机场
条件随机场(CRF)这里只做理论总结,至于它用于NLP中的序列标注会另讲。1.马尔科夫随机场 马尔可夫性质:它指的是一个随机变量序列按时间先后关系依次排开的时候,第N+1时刻的分布特性,与N时刻以前的随机变量的取值无关。马尔科夫随机场中:一个无向图组成,图的顶点u在状态a的概率只依赖顶点u的最近临界点,并且顶点u对途中的其他任何节点都是条件独立的,由此构成了顶点u的最近邻节点集...原创 2018-08-02 20:33:23 · 316 阅读 · 0 评论 -
机器学习方法总结(八):EM
EM算法(Expectation-Maximum)1.引入 这个算法的过程我认为李航的统计学习方法讲的很好,所以我就顺着他的思路理一遍然后讲清楚中间的过程。EM算法是一个含有隐变量和观测变量用极大似然估计法估计参数并进行迭代改进参数的生成方法,每次迭代分为两步,E步(Expectation)用极大似然估计得到参数的期望值,M步(Maximum)求出此时参数新的估计值,最大化似然函数。...原创 2018-08-02 19:35:13 · 212 阅读 · 0 评论 -
机器学习方法总结(九):HMM
HMM(Hidden Markov Model) 这篇文章会讲解HMM的理论知识,在自然语言分类中会有它用于中文文本分类的实例代码1.基本概念 隐马尔科夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫随机生成不可观测的状态随机序列,再由各个状态生成一个观测状态从而产生观测随机序列的过程。举一个小例子,假设有四个盒子,每个盒子(状态序列)中都装有红白两种颜色的球,但它们...原创 2018-08-02 17:53:15 · 466 阅读 · 0 评论 -
机器学习方法总结(七):朴素贝叶斯
朴素贝叶斯1.简介 朴素贝叶斯法是典型的生成学习方法,生成方法由训练数据得到联合概率分布P(X,Y)和先验概率P(X),在训练的过程中求得后验概率P(Y|X),即:P(X,Y)=P(Y|X)P(Y),在测试时去求P(X|Y),而前几篇文章介绍的算法都是基于判别的模型,直接去拟合后验概率,注意这里为什么要叫朴素贝叶斯,朴素的原因就是因为它的特征都是独立不会互相影响的。2.流程 ...原创 2018-08-01 16:56:42 · 258 阅读 · 0 评论 -
机器学习方法总结(六):集成学习
集成学习(Ensemble Learning)1.集成学习的分类Bagging:Bagging是由多个弱学习器集成起来的强学习器,但弱学习器之间没有依赖关系,可以并行生成,简单来说就是每个弱学习器学习数据的一部分特征,然后测试的时候根据结合策略就能得到一个数据总体特征然后分类。Bagging是基于自助采样法(bootstrap sampling):给定包含m个样本的数据集,先随机取出一个样...原创 2018-08-01 14:51:34 · 409 阅读 · 0 评论 -
机器学习方法总结(五):决策树
决策树1.决策树的模型和学习策略 定义:分类决策树模型是一种描述对实例进行分类的树形结构,由节点和有向边组成,建立时由由不同的特征决定每层的分类依据,分类时,从根节点对每个实例进行测试并分配到子节点,直到分类到叶节点。 学习策略:决策树的学习本质上是从训练数据集中归纳出一组分类规则,最后得到一个与训练数据集矛盾较小同时泛化能力较强的决策树;从另一角度,决策树是由训练数据集估...原创 2018-07-31 11:37:39 · 256 阅读 · 0 评论 -
强化学习(二):Sarsa
Sarsa(state-action-reward-state_-action_)1.与Q_Learning的区别 Sarsa是on-policy,即在线学习型,下一个 state_和action_ 将会变成他真正采取的 action 和 state;Q_Learning是off-policy,即离线学习型,state_和 action_ 在算法更新的时候都还是不确定的。这种不同之处...原创 2018-08-04 18:08:13 · 739 阅读 · 0 评论 -
强化学习(一):Q_Learning
1.强化学习的基本概念Agent:也就是强化学习需要学习的对象。 Stage:就是指当前agent所处的状态。 Action:对Agenti执行什么动作。 Reward:一个Action返回的奖赏值。 Policy:就是从state到action的映射,分为确定策略和与随机策略。2.分类model_free:不熟悉环境,根据reward选择下一步的action(Q.Learnin...原创 2018-08-04 13:55:24 · 385 阅读 · 0 评论 -
机器学习方法总结(三):K-近邻
K-近邻算法1.流程 三要素:距离度量、K值、分类决策规则。 输入:,xi是实例的特征向量,yi是实例的类别。 输出:实例x所属的类y。 根据给定的距离度量,在训练集T中找到与x最临近的k个点,涵盖这k个点的邻域记为Nk(x)。 在Nk(x)中根据分类决策规则(类别的众数)找出类别: 2.优缺点...原创 2018-07-20 12:41:55 · 282 阅读 · 0 评论 -
机器学习方法总结(四):支持向量机
支持向量机1.简介 支持向量机(SVM)是一种二分类模型,它的基本形式是定义在特征空间上的间隔最大的线性分类器,这也是它区别于感知机的原因,如果加上核技巧,SVM实际上就变成了一种非线性分类器。它的学习策略是:间隔最大化;求解算法是:凸二次规划的最优化算法。根据数据分布形式分为:线性可分支持向量机、线性支持向量机、非线性向量机。 核函数:当输入空间X为欧式空间或离散空间,特征...原创 2018-07-25 19:28:39 · 1001 阅读 · 0 评论 -
机器学习方法总结(二):线性回归模型
线性回归模型1.线性回归优点:建模速度快、计算量小、系数容易理解和解释。 缺点:模型容易欠拟合、对异常值敏感。原理:对给定数据集,其中,,d为特征维度,m为样本数量,即找到一个线性模型拟合之间的关系,以最简单的例子:用拟合yi,找到一个合适的w和b。 求解策略:最小二乘法即基于均方误差最小化的思想进行求解,使得找到一条直线,样本中所有的点到直线的欧氏距离之和最小。 求解方法:梯度下...原创 2018-07-19 14:49:23 · 833 阅读 · 0 评论 -
机器学习方法总结(十一):降维分析
降维分析1.降维方法缺失值比率 :该方法的是基于包含太多缺失值的数据列包含有用信息的可能性较少。因此,可以将数据列缺失值大于某个阈值的列去掉。 低方差滤波 :该方法假设数据列变化非常小的列包含的信息量少,因此,所有的数据列方差小的列被移除。 高相关滤波 :对于数值列之间的相似性通过计算相关系数来表示,对于名词类列的相关系数可以通过计算皮尔逊卡方值来表示。相关系数大于某个阈值的两列只保留...原创 2018-08-03 15:33:57 · 500 阅读 · 1 评论