机器学习
文章平均质量分 84
weixin_41405111
这个作者很懒,什么都没留下…
展开
-
机器学习笔记(一) KNN K-最近邻
零、摘要本篇文章主要讲述KNN算法(K-nearest neighbor)的原理与技术细节,并简单提及了数据预处理的方法。主要参考资料:斯坦福CS231n课程笔记:分类《机器学习》周志华《机器学习实战》Peter Harrington维基百科:K-nearest_neighbors_algorithm一、从1NN到KNN 近朱者赤,近墨者黑 考虑这样一...原创 2018-03-15 20:48:43 · 1009 阅读 · 0 评论 -
机器学习笔记(二) 决策树
零、摘要本文讨论决策树的构建、最佳划分的选择、剪枝处理以及缺失值处理。主要参考资料:《机器学习》周志华《机器学习实战》 Peter Harrington维基百科 C4.5_algorithm维基百科 熵(信息论)一、构建决策树本文引用周志华《机器学习》中西瓜的例子。 假设你是河海大学大四老阿姨,有整整三的在教育超市的买西瓜经验,阅瓜无数,积累了一个数据集,包括买...原创 2018-03-16 16:41:34 · 480 阅读 · 0 评论 -
机器学习笔记(三) 支持向量机 原型、对偶问题
零、摘要本篇文章讲述支持向量机的原型与他的拉格朗日对偶问题。主要参考资料:斯坦福大学 CS229 笔记 吴恩达《机器学习》周志华《机器学习实战》peter Harrington《高等数学》同济大学《微积分学教程》【俄】菲赫金格尔茨维基百科 支持向量机一、原型支持向量机(support vector machine)处理的是分类问题。首先,我们考虑这样一个问题,二维平面上...原创 2018-03-19 18:16:56 · 881 阅读 · 0 评论 -
机器学习笔记(五) 朴素贝叶斯分类器
零、写在前面参考资料:《机器学习》周志华 《机器学习实战》Peter Harrington斯坦福 CS 229 吴恩达一、属性条件独立性假设由上篇文章中介绍的贝叶斯决策论知道,我们想做这样的事: 给出一个样本各个属性xi的值(记为向量大X),求出这个样本属于各个类别c的概率,输出这些概率中最大的那个类别。由贝叶斯定理,这概率(等号左侧)可以这样来求: P(c|X)=P(...原创 2018-04-03 21:59:23 · 215 阅读 · 0 评论 -
机器学习笔记(四) 极大似然估计
零、写在前面参考资料:《机器学习》周志华斯坦福 CS 229 吴恩达一、贝叶斯决策论贝叶斯分类器显然是用于分类问题的,是一种监督学习的模型。最核心的过程是这样的: 在训练过程中,分类器要根据训练集中的好多好多组x(各个特征)和y(类别)学会做这样一件事:对于没见过的样本,能根据它的各个特征计算出他属于各个类别的概率。 继而在应用时,选择概率最高的那个样本作为输出结果。...原创 2018-03-29 10:42:14 · 824 阅读 · 1 评论 -
机器学习笔记(六) Adaboost
零、写在前面参考资料:《机器学习》周志华 本文记录了Adabooost算法的推导过程,不是Adaboost的教程。如果之前没有接触过Adaboost,我保证读者看完本文后一定学不会Adaboost算法。一、推导1. 为什么指数损失函数可以作为优化目标首先说明我们使用的符号: 符号 含义 T 基学习器个数 h 基学习器...原创 2018-08-19 16:31:38 · 629 阅读 · 0 评论 -
机器学习笔记(七)k-Means
零、写在前面参考资料:《机器学习》周志华《机器学习实战》Peter Harrington斯坦福 CS 229 吴恩达漫谈 Clustering (1): k-means一、算法原理k-Means是一种十分简单的算法,一张图就可以解释清楚。 算法流程(上图k=2):图a 原始数据图b 随机选取k个点作为类别中心图c 对于每个原始数据的点,把它归为最近的类别...原创 2018-09-13 21:35:03 · 257 阅读 · 0 评论