![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
高等数学
NeverMore_7
野鸡大学CS学生
展开
-
提升方法之AdaBoost、提升树(GBDT)
引言提升方法是一种常用的学习方法(确切来说是一种基于统计的学习方法),并且广泛有效,基本思想是:不需针对学习任务(分类或者回归,为叙述方便,后文中以分类为例)直接学习出一个模型,而是先学习出一个模型,对样本进行分类,在该模型无法准确分类的样本上学习第二个模型,以此类推,直到所有样本都被准确的分类,最终的模型是将之前学习到的模型进行线性组合,可看做是“分而治之”的思想。AdaBoost强弱学习器强原创 2017-08-11 16:00:25 · 4330 阅读 · 3 评论 -
PRML——偏差方差分析
引言偏差方差分析是机器学习中常用的来衡量模型对数据拟合好坏的度量方式,PRML中对这一个问题进行了数学理论上的分析。最好的回归函数对于回归问题的朴素方式是对输入的每一个样本xx,输出对真实回归值tt的一个估计y(x)y(x),这样做之后,会得一个估计值和真实值之间的损失L(y(x),t)L(y(x),t),则平均损失就是:E[L]=∫∫L(y(x),t)p(x,t)dxdtE[L]=\int\int原创 2017-08-19 16:31:44 · 2005 阅读 · 0 评论 -
【PRML】—— 共轭分布
写在前面《pattern recognition and machine learning,PRML》一直广受好评,全书从数学思想的方面介绍模式识别和机器学习,阅读之前需要一些数学只是,如果大学本科的数学(高等数学、概率和梳理统计、线性代数)还没完全忘记的话,阅读起来应该不是难事。另外一点,你需要静下心来慢慢读,细细品味(第一次读这本书的时候,读了几个章节就完全懵逼了 - -!)。这是第二次拿起来读原创 2017-08-14 15:18:23 · 979 阅读 · 0 评论 -
拉普拉斯近似
问题背景很多时候,无法确定一个概率分布的具体密度函数,因而在对这种分布进行后续操作(例如,作为贝叶斯学派求后验概率)时难度很大,无法进行。这时候则需要对这种无法精确知道分布函数的概率进行近似处理成已知的概率分布,从而方便计算或操作。拉普拉斯近似便是一种简单且广泛应用的近似方法,并且是很多采样方法的基础思想。拉普拉斯近似该方法的目的是找到一组定义在连续变量变量上的高斯近似,假设任一单一连原创 2017-08-26 17:18:52 · 8904 阅读 · 3 评论 -
模糊集在图像二值化与图像增强的运用
引言模糊理论说得直白一点就是表达不确定性,这个不确定性是用一个隶属度函数来衡量,该函数的取值为[0,1][0,1],隶属度函数值越大则趋于一致,当隶属度函数值为00时,表示相反。关于模糊理论的一般定义和表述可以参考Gonzalez《数字图像处理》。本文关注的是模糊集在数字图像处理的运用,包括图像二值化和图像增强两方面的运用,主要内容来自以下两篇论文:[1]. Image thresholding原创 2017-09-22 15:28:09 · 2844 阅读 · 1 评论 -
从傅里叶级数到傅里叶变换
写在前面傅里叶变换这个东东是一块心病,记得刚接触计算机视觉那会儿,最先看的是冈萨雷斯的《数字图像处理》。当看到频率域滤波那章节的时候,首先就是傅里叶变换,当时看了两三遍愣是没懂。无奈之下,去问老师,而后被一句话“你只需要知道怎么用,现在不需要知道原理”打发了,好吧!我确实也放弃没在去纠结原理啥的,只知道怎么用code变换,然后进行滤波。后来某段时间又想起来,所以又去看了看,直到今天也不敢说是真正理解原创 2017-10-12 16:01:03 · 4574 阅读 · 0 评论 -
机器学习—经验风险最小化
写在前面本文是Andrew Ng的机器学习公开课的总结,其中涉及到偏差方差分析在PRML中有过比较严谨的数学分析,详见文章PRML——偏差方差分析。而吴老师的课上以一种更直接和相对较为通俗的方式给出了这些概念,解决的问题有如下几个:(1). 如何形式化定义方差和偏差(针对机器学习算法)以方便对算法的讨论评价?(2). 用训练误差评估泛化误差是否合理?(3). 在什么条件下,我们能评估一个算法的好坏?原创 2017-10-16 23:42:51 · 3900 阅读 · 0 评论 -
核密度估计 Kernel Density Estimation(KDE)
写在前面给定一个样本集,怎么得到该样本集的分布密度函数,解决这一问题有两个方法: 1.参数估计方法 简单来讲,即假定样本集符合某一概率分布,然后根据样本集拟合该分布中的参数,例如:似然估计,混合高斯等,由于参数估计方法中需要加入主观的先验知识,往往很难拟合出与真实分布的模型; 2.非参数估计 和参数估计不同,非参数估计并不加入任何先验知识,而是根据数据本身的特点、性质来拟合分布原创 2017-11-16 23:16:14 · 161494 阅读 · 20 评论