机器学习入门
文章平均质量分 77
本专栏适合零基础的同学入门。会涉及到高数、线性代数、统计学和概率论与数理统计等基础知识,以及机器学习相关知识:分类、回归和无监督学习,knn算法、决策树、贝叶斯、Logistic回归、支持向量机、adaboost元、K-均值、Apriori算法、PCA、SVD和神经网络等等。
sweird
知其然,并知其所以然。揭开上层重重迷雾,去了解计算机的本质,去了解操作系统的本质,解开曾经的迷惑,怀着十二分的热情,用我的一生去完成。
展开
-
机器学习笔记(13)---支持向量机SVM
前言学习前几章很顺利,然后就觉得机器学习也不过如此,但学到这章时,发现如果没有一点理论基础,是看不懂的(如果不想看懂理论,可直接使用MLiA书上例子,只要知道怎么把数据组织成算法支持的数据类型即可),回想起看前几章为什么能这么顺利,原因是之前看过一堆相关视频和书籍。 所以,从本章开始,会先给出相关的理论,然后再举例并进行源码分析。如果想看算法的效果,可直接上代码,这样会有一个直观的认识,会加...原创 2018-07-14 15:37:08 · 514 阅读 · 0 评论 -
机器学习笔记(12)---使用Sklearn中的SVM
svm理论太难理解了,先上个sklearn中的SVM代码提升点信心吧,理论后续补上。import numpy as npfrom sklearn import datasetsfrom sklearn.pipeline import Pipelinefrom sklearn.preprocessing import StandardScalerfrom sklearn.svm im...原创 2018-04-25 18:09:50 · 1157 阅读 · 1 评论 -
机器学习笔记(11)---Logistic回归
前言我记得刚学习机器学习不久的时候,去看吴恩达老师的机器学习视频,他的第二讲就是关于监督学习梯度下降相关的内容,梯度下降正是和今天讲的Logistic回归有关的,当时看那视频真心累,数学公式见一个不认识一个,看一讲视频要半个月。但是功夫不负有心人,经过一年多的打基础,现在终于可以比较容易的 看懂相关知识点了,现把《机器学习实践》第五章Logistic回归做一个学习笔记。Logistic...原创 2018-04-04 21:52:25 · 605 阅读 · 1 评论 -
机器学习笔记(10)---朴素贝叶斯
基于概率论的分类方法:朴素贝叶斯前两章KNN和决策树相对来说是很简单的,本章开始学习朴素贝叶斯,使用基于概率论的分类方法。这部分的内容要用一定的统计学和概率论与数理统计的基础。可参考中国大学MOOC课程概率论与数理统计 由哈工大数学系出品,另外还可参考浙江大学和同济大学的概率论与数理统计课程,相关课程请自行搜索。朴素贝叶斯总结贝叶斯相关理论一开始并没有理解,看了好多遍视频,再结...原创 2018-03-19 21:27:23 · 530 阅读 · 0 评论 -
机器学习笔记(9)---决策树
决策树决策这一节相对KNN算法来说难了点,因为本节需要先理解熵和信息增益的概念,理解后再看就比较容易了。不过我也是先看的代码,在看代码的过程中没明白它为什么要这么做,然后再去查相关的书籍,再把熵和信息增益的概念理解了,再去看代码,就明白了。基本概念基本概念不懂没关系,先去看源码。然后再回顾和总结。香农熵(也叫信息熵)简称熵,其计算公式如下:H=−∑ni=1p(xi)log2...原创 2018-03-19 21:21:58 · 522 阅读 · 0 评论 -
机器学习笔记(8)---K-近邻算法(6)---KNN算法学习总结
前言KNN算法系列文章加上总结共六篇笔记,已全部完成。本篇笔记做一个总结,随手再举个西瓜书上的例子。 转载请注明出处:http://blog.csdn.net/rosetta总结实际上KNN算法只要把数据准备好给分类函数就可以了。MLiA中的分类函数是classify0(),sklearn中由neigh.fit(normMat, datingLabels)完成,另外注意下前者直接...原创 2018-02-11 21:49:33 · 758 阅读 · 0 评论 -
机器学习笔记(7)---K-近邻算法(5)---使用K近邻算法检测异常操作之二
前言上一节给出了使用K近邻算法检测异常操作的一种方法,现给出另外一种方法。 转载请注明出处:http://blog.csdn.net/rosetta使用K近邻算法检测异常操作之二这节的内容和上节总体上类型,区别在于,上一节比较的是最频繁使用的命令和最不频繁使用的命令,而这次使用全量比较。 全量比较的思路仅仅特征选择上不太一样,它先统计所有15000条样本中不重复的命令条数(假设...原创 2018-02-11 21:38:34 · 700 阅读 · 0 评论 -
机器学习笔记(6)---K-近邻算法(4)---使用K近邻算法检测异常操作之一
前言接着前面三篇学习笔记《约会对象魅力程度分类》、《使用sklearn中的KNN算法》和《KNN手写识别系统》,本节记录使用K近邻算法检测异常操作,主要参考《Web安全之机器学习》 。 转载请注明出处:http://blog.csdn.net/rosetta使用K近邻算法检测异常操作之一实验数据及情况实验数据在Schonlau个人网站中:http://www.schonl...原创 2018-02-11 21:27:05 · 4332 阅读 · 2 评论 -
机器学习笔记(5)---K-近邻算法(3)---KNN手写识别系统
前言前两篇文章《约会对象魅力程度分类》和《使用sklearn中的KNN算法》已经把KNN算法相关内容介绍完毕,从本节开始再举几个例子加深对KNN的理解。 本节主要记录MLiA中手写识别系统。 转载请注明出处:http://blog.csdn.net/rosettaKNN手写识别系统这节内容也是很简单的,不同之处在于原始数据表示方法不同而已。每个样本都是32行*32列=1024大...原创 2018-02-11 21:06:59 · 363 阅读 · 0 评论 -
机器学习笔记(4)---K-近邻算法(2)---使用sklearn中的KNN算法
前言上一篇文章《K-近邻算法(1)—约会对象魅力程度分类》中进行距离计算时使用的函数是由自己实现的classify0()完成,本篇文章改用sklearn库的KNN相关的接口实现。其实只要学会了上一节中的K-近邻算法,在其基础上只要做如下修改即可。最主要的修改就是调用分类函数的地方改成调用sklearn的库,然后在预测时注意下其返回的结果是个ndarray,取值方式稍有不同,其它都一样的。 转...原创 2018-01-27 12:08:26 · 1986 阅读 · 0 评论 -
机器学习笔记(3)---K-近邻算法(1)---约会对象魅力程度分类
参考资料《机器学习实战》,Machine Learning in Action,本文中简称MLiA 《机器学习》周志华,本文简称西瓜书 《Web安全之机器学习》刘焱著,本文中简称WSML(Web Security in Machine Learning,该英文翻译只为记录方便,是本人杜撰的,仅限本系列文章使用)转载请注明出处:http://blog.csdn.net/rosetta/a...原创 2018-01-27 11:37:36 · 1400 阅读 · 0 评论 -
机器学习笔记(2)---监督学习之正规方程
前言正规方程公式推导前言本机器学习笔记是跟着原斯坦福大学吴恩达老师cs229课程学习后做的课后笔记。每次课程都会涉及到很多数学知识,我在记录课程核心内容的同时,会把数学基础知识在其它博文中单独记下,并在《机器学习笔记》系列博文中用到时给出链接。 笔记都是按照本人的理解去写的,给出的数学基础知识也只是本人薄弱的地方,并不适合所有人。如有问题欢迎给我留言。 数学公式...原创 2017-07-02 13:58:02 · 763 阅读 · 0 评论 -
机器学习笔记(1)---监督学习之梯度下降
前言笔记主要内容基本概念线性回归梯度下降法正文部分公式推导公式2推导公式7推导前言本机器学习笔记是跟着原斯坦福大学吴恩达老师cs229课程学习后做的课后笔记。每次课程都会涉及到很多数学知识,我在记录课程核心内容的同时,会把数学基础知识在其它博文中单独记下,并在《机器学习笔记》系列博文中用到时给出链接。 笔记都是按照本人的理解去写的,给出的数学基础...原创 2017-07-02 13:41:33 · 1445 阅读 · 4 评论 -
机器学习所需要的数学基础知识---矩阵(1)
机器学习所需要的数学基础知识—矩阵(1)本系列文章为机器学习所需要的数学基础知识,在机器学习文章中如需要,会给出本系列文章的链接,如有问题欢迎给我留言。数学公式使用Letex编辑,原文博客http://blog.csdn.net/rosettaA∈Rm∗nA∈Rm∗nA\in \mathbb{R}^{m*n}表示m行n列的矩阵A,矩阵中的每个元素都是实数。x∈Rnx∈Rnx\in \m...原创 2017-06-25 13:55:32 · 4341 阅读 · 1 评论 -
机器学习数学知识导航
本博文为机器学习所需要的数学基础知识的导航汇总。因为本人在学习过程中可能是想到什么写什么,用到什么学什么,直接看博客找起来相关的文章会很累,所以这里做一个统一的汇总,并给出导航传送门。 记录—给未来的自己做个回忆和给后学者一个参考。如有问题欢迎和我讨论交流。原文博客:http://blog.csdn.net/rosetta现在先把需要的知识列出来,主要是矩阵、高等数学和概率论与数理统计的知识,后续原创 2017-07-03 22:56:31 · 971 阅读 · 0 评论 -
概率论与数理统计---分布函数
前言前言部分讲了为什么使用CSDN记录数学笔记和为什么要学《概率论与数理统计》的原因,和实际学习内容没有关系。之前学线性代数的时候写的笔记都在纸质的笔记本上,在纸质上面想查询比较麻烦,只能一页一页翻。现在想记在电脑上,后续如果想看纸质的还可以打印出来,所以后来在word上记过一段时间,word里的数学公式编辑器虽然好用,但是使用鼠标点起来太累。后来想用Letex,Letex编辑公式的确好用...原创 2017-07-15 17:57:09 · 10314 阅读 · 4 评论