diyaopo7871-CSDN博客

转载集成学习之AdaBoost

目录一. AdaBoost介绍 1.1 AdaBoost诞生记 1.2 AdaBoost算法流程 1.3 图解AdaBoost 二. python实现AdaBoost 2.1 数据集可视化 2.2 构建stump ...

2019-09-09 22:25:00 328

转载集成学习(Ensemble learning)

摘要：本文是理解adaboost算法与xgboost算法的前奏篇，主要介绍集成学习（Ensemble learning）的含义，在模型选择、训练数据过多或过少、数据融合及置信度估计等几方面的应用，同时介绍了集成学习的两个重要方面，即生成模型的算法，如bagging、boosting，以及组合模型结果的方法，如平均、投票等。对后续理解adaboost算法与xgboost算法起到了很好的铺垫...

2019-08-06 11:35:00 479

转载不等式(二)-Hoeffding不等式

接着上一节的不等式(一)-Markov与Chebyshev不等式本节将学习Hoeffding不等式。Hoeffding不等式作用与Chebyshev不等式类似，但区间更紧致(增加了独立性约束)Hoeffding不等式设\(Y_1,...Y_n\)相互独立，且\(E(Y_i) = 0\)，且\(a_i \leq Y_i \leq b_i\)，令\(\epsilon > 0...

2019-07-05 11:42:00 368

转载不等式(一)-Markov与Chebyshev不等式

有些量很难计算，不等式可以对这些量给出一个界。例如，我们没有足够的信息来计算所需的量（例如事件的概率或随机变量的预期值）；又或者，问题可能很复杂，精确计算可能非常困难；还有些情况，我们可能希望提供一个通用的、适用于广泛问题的结果。本节将学习两个不等式：Markov与Chebyshev不等式。直观理解Markov不等式我们凭直觉大致可以理解，观察值不会偏离期望值太多。Markov不等...

2019-07-03 11:40:00 1178

转载朴素贝叶斯(Naive Bayes)

一. 生成式（generative）学习算法如果算法直接学习\(p(y|x)\)，或者尝试学习从输入空间\(X\)到类别\(\{0,1\}\)的映射关系的算法，称为判别式（discriminative）学习算法；比线性回归（lineaar regression）的模型：\[f(y|x;\theta) = h_{\theta}(x) + \theta_{0} + \theta_{1}...

2019-07-01 10:34:00 202

转载决策树学习

目录一. 决策树模型二. 特征选择 2.1 香农熵(shannon entropy) 2.2 条件熵（conditional entropy） 2.3 信息增益（infomation gain） 2.4 信息增益比（Information Gain R...

2019-06-21 21:34:00 175

转载 k-NN最近邻算法(k-nearest neighbors algorithm)

本文是一篇k-NN学习笔记，内容如下：一. k-NN简介二. k-NN原理三. 关于 k-NN的进一步讨论3.1 K的大小怎么选择?3.2 怎么计算最近“邻居”?3.3 既然是监督学习，怎么训练？3.4 k-NN怎么用于回归？3.5 最后，为什么选择k-NN?四. k-NN应用-提高约会对象匹配(python)4.1 读文件，解析特征向量和类别标签4.2 ...

2019-06-13 21:35:00 752

转载梯度下降（Gradient Descent）数学原理分析与实例

本文循序渐进描述梯度下降算法，从导数的几何意义开始聊起，如果熟悉微积分可以跳过，主要内容如下：一. 导数的几何意义二. 偏导数三. 什么是梯度四. 梯度下降算法\(α\)是什么含义?为什么是\(-\)?梯度下降举例一梯度下降举例二值得关注的一些问题五. 梯度下降应用于线性回归5.1 批量梯度下降5.2 批量梯度下降算法python实现一. 导数的几...

2019-04-16 21:31:00 260

转载求解素数

编程珠玑2-性能监视工具这个章节主要介绍利用性能监测工具来加速计算素数的程序，因为平时用java，因此调研了下java的性能监测工具，了解了下JFR，jmc自带JFR，安装jmc6.0试用了下，jmc6.0和之前的版本有些区别，可以参考https://stackoverflow.com/questions/50800070/java-mission-control-jmc-6-0-do...

2019-02-21 11:02:00 113

转载拼多多优惠券bug造成千万损失引发的优惠券安全思考

一. 背景“ 今日凌晨，拼多多爆出可领无门槛100元优惠，引得广大网友竞相争抢，据说短短时间出现300亿交易额，其中200亿是虚拟产品，这200亿可能就是拼多多损失的数额。目前，拼多多回应，已把领到的优惠券回收，并修复BUG。据悉拼多多方面因为此损失数千万，目前已报案。” －－摘自搜狐新闻 2019.1.20抛开拼多多是否自导自演，该事件引发了我对优惠券安全性的重新思考和整理。优惠券...

2019-02-21 11:01:00 1057

diyaopo7871的博客