机器学习
惊鸿罩影
这个作者很懒,什么都没留下…
展开
-
机器学习笔记之贝叶斯分类器贝叶斯网络
来来来 总结下 上一节课的贝叶斯参数估计,你会发现一个相当有意思的事情就是要后验概率必须满足以下三个条件:(1)一定要通过先验知识假设θ的密度函数(2)而且样本是相互独立的(3) 你要假设未知数的概率密度函数以及总体其服从的分布嗯哼哼 傻了吧 那么多先决条件 要利用贝叶斯算法做一个分类器真难首先来确定贝叶斯分类器设计的基本思想通过某对象的先验概率,利用贝叶斯公式计算出其后验概率,即该对象属于某一类...原创 2018-04-07 18:34:51 · 432 阅读 · 0 评论 -
线性代数的那些事(四)从线性空间到希尔伯特空间
嗯哼哼 先说说空间是啥 就是集合 集合 集合 定义空间就是集合 所以线性空间(向量空间), 对数乘和向量加法封闭所组成的集合 嗯哼哼 维基百科定义对线性空间而言,主要研究集合的描述。为了描述清楚,就引入了基的概念,所以对于一个线性空间来说,只要知道其基即可,集合中的元素只要知道其在给定基下的坐标即可。嗯哼哼 但是缺少“长度”的概念所以定义的了范数 即范数的集合⟶ 赋范空间+线性结构⟶线性赋范空间...原创 2018-05-18 19:58:38 · 1627 阅读 · 1 评论 -
从零到精通SVM之核函数
原因:一些分类 在现有空间不是线性可分方法:映射到高维就是线性函数了栗子:嗯哼哼 线性不可分 嗯哼哼 就成了线性函数了就是那么简单 把函数变成线性可分可是有两个大问题第一个问题你首先得知道原先的非线性函数吧其次,就算你知道了非线性函数映射到高维空间计算量是噌噌噌的往上涨,传说的“维数灾难”啊所以这不是一个好的方法嗯哼哼 在看下 我们要求的你会发现 我们要求的只是高维空间的内积会不会有种从天而降的函...原创 2018-04-27 19:06:28 · 213 阅读 · 0 评论 -
从零到精通SVM之SMO算法原理
嗯哼将求最大值转化为最小值先来分析下本期目标是寻找一个α向量 是的上述函数取得最大值回顾下α是什么α是拉格朗日因子其中α>=0看下 为什么要这样子首先我们先回顾下原始约束其中 KTT条件 是要我们来看下 这条件在分类时具体的意义嗯哼哼 首先 ab区域的点其都满足 到超平面的函数间隔 大于1也就是说那么这些点对应的α = 0嗯哼 以此类推嗯哼哼 马上有人就看出来了在c区域上的点呢其其是不满足K...原创 2018-04-26 16:35:43 · 420 阅读 · 0 评论 -
线性代数的那些事(三)特征值与正交变换
嗯哼哼说下变换为什么要进行变换因为变换后,在新空间下运算变得简单,或者说 在变化下之前复杂难以观察的规律变得容易观察了其实变换的实质就是旋转与拉伸比如傅立叶变化 k-l变换伯特空间的正交变换...原创 2018-05-09 22:35:28 · 22937 阅读 · 2 评论 -
线性代数的那些事(二)行列式与逆
转载自:https://zhuanlan.zhihu.com/p/19609459这里首先讨论一个长期以来困惑工科甚至物理系学生的一个数学问题,即,究竟什么是面积,以及面积的高维推广?1 关于面积:一种映射大家会说,面积,不就是长乘以宽么,其实不然。我们首先明确,这里所讨论的面积,是欧几里得空间几何面积的基本单位:平行四边形的面积。平行四边形面积的定义,几何上说是相邻两边边长乘以他们之间的夹角的正...转载 2018-05-09 17:16:45 · 5333 阅读 · 0 评论 -
线性代数的那些事(一)空间 与 变换
嗯哼哼 说下空间变化 行列式特征值线性代数的实质吧矩阵 向量矢量标量嗯哼哼 接下来 就是解决这些问题原创 2018-05-09 16:44:51 · 1123 阅读 · 1 评论 -
从零到精通SVM之超平面求解和松弛变量
嗯哼哼 回顾下 上期的内容 目的 是找到一个超平面能够划分类别而这个超平面 还能是最完美的故其两边最近的点到超平面的距离 不能超过一定距离故求其最大的函数距离(可转化为几何距离) 来确定超平面(其中 2是 假设函数距离为2)变得求最值问题了嗯哼哼根据拉格朗日对偶问题 https://blog.csdn.net/sibiantai555/article/details/79997868可以将其改成拉...原创 2018-04-23 22:25:19 · 1090 阅读 · 0 评论 -
拉格朗日乘子法 和对偶问题
拉格朗日乘数法就是求条件极值转化为非条件极值嗯哼哼 首先看下条件极值为一个等式的情况将条件转化为带入z 就变成简单的一元函数求极值了嗯哼多变量也同样如此现在看看不等式约束嗯哼哼重要的数学思想来了 像条件极值转化为非条件极值我们能不能将不等式约束转化为等式约束 然后就依样画葫芦了嗯哼哼 引入松弛变量 what 什么是松弛变量比如X1<= 4 定义松弛变量 X2 = 4 - X1 故约束X1&...原创 2018-04-18 22:59:04 · 7507 阅读 · 1 评论 -
参数估计之最大似然估计法和贝叶斯估计法(点估计)
1.补充些gay率论知识: (1)随机变量的独立性和相关之间的关系 简单的一句话就是 相关系数为0是两变量独立的必要非充分条件 统计学上的相关一般指线性相关,可以用相关系数这个指标来说明期相关程度相关可以认为是一种映射,故可以分为线性映射和非线性映射线性映射 :设映射f是线性映射,即满足(1) f(a+b)=f(a)+f(...原创 2018-04-07 11:04:46 · 4968 阅读 · 2 评论 -
从零到精通SVM之超平面与几间隔问题
首先 SVM全称 支持向量机 Support Vector Machines,嗯哼 很难以理解是吧就是一个多维分类的机器而且分类 还是只是两类分类先看看最简单的二维两类分类嗯哼哼 存在好多线可以将他们分开支持向量机的目标就是找找分割中最完美的一条线如何找到最完美的一条线呢可以有点到所有点到线上距离最小即可然后求和扩展 三维的就是一个平面三维以上就是叫做超平面 设n 维空间中的超平面由下面的方程确定...原创 2018-04-18 13:40:14 · 1283 阅读 · 0 评论 -
最小二乘法和梯度下降法
1.最小二乘法的原理以及要解决的问题 最小二乘法主要是根据线性相关的知识进行求解。为了方便理解,我们先举一个一元回归的例子对于二元组(x,y),每一个x我们所能观察到对应的Y值,故设产生N组(x,Y) 假设已知其成线性相关并设 Y = ax + b + ε 其中 ε为误差 并服从高斯分布ε~N(0,δ²) PS:为什么要服从正太分布,嗯哼,首先是这逼...原创 2018-04-05 22:36:23 · 681 阅读 · 0 评论 -
python 实战决策树之txt数据导入
首先将txt数据导入两种方法 第一将txt 转化为csv注意 输出路径 不能更改 这能在根目录下否则会报错然后再通过np读取到第二种 直接txt读取 但是 形式不一样 第二种属于元组 np.loadtxt同样也能读取csv文件但是直接读取会发生错误 嗯哼 错误提示说类型转化出错 不过从上述错误可以看出 其类型是默认float的 查一下 loadtxt函数loadtxt(fname, dtype...原创 2018-04-16 21:00:40 · 2432 阅读 · 0 评论 -
非参数估计法之 parzen窗方法和k近邻方法估计概率密度
无论是参数估计还是费参数估计 其目的都是为了求出总体的概率密度函数parzen窗基本原理嗯哼哼 ,画个圈圈 ,在圈圈里面又画一个正方形,在往圈圈里面随机扔豆豆,豆豆在正方形里面的概率约等于在正方形内的总数k比豆豆总数n即k/n,其正好是正方形与圈圈的面积比,假设正方形的面积为R设豆豆落在正方形里面的概率为P = k/n,假设豆豆落在正方形的每一个点上的概率一样,则落在正方形中的任意一点的概率为p ...原创 2018-04-10 16:49:41 · 7469 阅读 · 2 评论 -
决策树原理ID3.C4.5以及实现
HUNT算法 :1:如果数据集D中所有的数据都属于一个类,那么将该节点标记为为节点。2:如果数据集D中包含属于多个类的训练数据,那么选择一个属性将训练数据划分为较小的子集,对于测试条件的每个输出,创建一个子女节点,并根据测试结果将D中的记录分布到子女节点中,然后对每一个子女节点重复1,2过程,对子女的子女依然是递归的调用该算法,直至最后停止。 但是HUNT算法没有说明具体先选择哪一个条件,即哪一个...原创 2018-04-15 19:58:29 · 1196 阅读 · 0 评论 -
正交变换之PCA原理
正交变换的牛逼的之处 能量和关系不变(长度和角度)嗯哼哼 所以正交变换能用来做什么呢降维what怎么降维嗯哼哼 先来看看其对角化后组成的方阵由特征值构成的而特征值是代表其只是进行伸缩变换因此我们可以将特征值进行排序 而忽略小的特征值对其伸缩的影响就是我们说的降维嗯哼 这是损失了一定数据 称为有损压缩第二种是无损压缩我们知道空间变换就是选择不同的基而在新基下,数据有新的坐标表示而我们可以通过将一...原创 2018-05-21 16:02:18 · 5797 阅读 · 0 评论