3 - Mathmatics
文章平均质量分 54
汐雪池间
计算机科学与技术 -> 数据科学与工程 -> 大数据工程师
展开
-
离散数学知识框架小结
离散数学知识框架,教材提纲原创 2017-06-01 21:01:46 · 4036 阅读 · 0 评论 -
概率中的独立与相关:相互独立、条件独立、协方差、相关系数
概率论与数理统计学习笔记。小记变量之间的(线性)相关性,独立性。原创 2018-09-03 14:35:43 · 32104 阅读 · 1 评论 -
信息论的基本概念比较:自信息、香浓熵、微分熵、相对熵、交叉熵
信息论的基本想法是一个不太可能的事件居然发生了,要比一个非常可能的事件发生,能提供更多的信息。希望能有一种量化信息的方法,并且具备一些性质,如: • 非常可能发生的事件信息量要比较少,并且极端情况下,确保能够发生的事件 应该没有信息量。 • 较不可能发生的事件具有更高的信息量。 • 独立事件应具有增量的信息。例如,投掷的硬币两次正面朝上传递的信息量, 应该是投掷一次硬币正面朝上的信息...原创 2018-09-04 14:46:03 · 6605 阅读 · 1 评论 -
【知识框架】优化方法基本原理:梯度下降法、牛顿法、拉格朗日对偶法
梯度下降法梯度下降法是求解无约束最优化问题的一种最常用方法,实现简单,每一步需要求解目标函数的梯度向量。牛顿法和拟牛顿法牛顿法是求解无约束最优化问题的常用方法,收敛速度快,每一步迭代需要求解目标函数的海森矩阵的逆矩阵,计算较为复杂。拟牛顿法则用正定矩阵近似海森矩阵的逆矩阵,简化了牛顿法。 海森矩阵(Hessian Matrix)是一个多元函数的二阶偏导数构成的方阵,描述...原创 2018-05-29 11:10:12 · 1633 阅读 · 0 评论 -
机器学习——朴素贝叶斯法提要
机器学习——朴素贝叶斯法提要朴素贝叶斯方法相较于其他机器学习方法,原理简单,实现方便,效率较高,学术领域内常用作baseline同其他方法进行比较。理论依据贝叶斯定理 P(Bi|A)=P(Bi)P(A|Bi)∑nj=1P(Bj)P(A|Bj)P(Bi|A)=P(Bi)P(A|Bi)∑j=1nP(Bj)P(A|Bj)P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\...原创 2018-06-04 20:43:50 · 160 阅读 · 0 评论 -
Make Good friend with GBDT——Part2 Ada Boosting
三个臭皮匠,顶个诸葛亮——BoostingAdaBoost算法的提出——1995,Freund提升方法提升方法基本思路 在概率近似正确的学习框架内,一个概念的强可学习和弱可学习是等价的——Schapire发现弱学习器比强学习器要容易得多,提升方法就是反复学习得到多个弱学习器,将其按不同权重进行组合得到一个强学习器的过程,反复学习的过程中往往需要改变数据的概...原创 2018-05-08 10:57:30 · 195 阅读 · 0 评论 -
Make Good friend with GBDT——Part1 决策树
Part 1 决策树带着三个问题,重读决策树章节: 1. 决策树适用的应用场景有哪些? 2. 如何得到决策树? 3. 做得更好:如何提高性能?Question 1 决策树的适用场景决策树可以用来解决分类问题和回归问题,并且有着可解释性强,分类速度快的特点。决策树同样可以用来抽取多属性特征,作为深度学习的输入。Question 2 如何得到决策树?决策树的学习分3个步骤...原创 2018-05-01 12:47:56 · 230 阅读 · 0 评论 -
通过简单的例子来认识和实践牛顿法
牛顿法认识与实践中文参考:[1]数学定义与推导 举例说明利用牛顿法来近似求解正数平方根 英文教学材料:[2]#include <iostream>#include <math.h>using namespace std;int LOOP_COUNTER = 0;// Square Roots by Newton's Method, ...原创 2018-03-24 16:29:07 · 2750 阅读 · 0 评论 -
概率图模型(PGM)-LDA 隐含狄利克雷分布学习记录
LDA贝叶斯概率模型:先验概率+观察数据 -> 后验概率LDA以其灵活地对主题的分布进行概率估计,被广泛应用于主题模型抽取之中。这里仅列举概念和读过的资料,具体内容不赘述。多种语言中已经实现过此算法。总之,这是一个好用但不好吃透的算法,最后得到的也只是近似最优解。涉及到的知识多项分布狄利克雷函数马尔科夫链:平稳转移矩阵,收敛吉布斯采样ReferenceLda数学八卦-靳志辉通俗理解 L原创 2017-12-06 22:24:45 · 1105 阅读 · 0 评论 -
37% 法则的数学原理
相关问题死理性派恋爱法:拒绝掉前面37%的人微软面试题一到十楼每层电梯口都放颗大小不一的钻石。你乘电梯单向从一到十楼,每层电梯门会开一次,并且你只能拿一次钻石。请问你如何能拿到最大的一颗?问题建模策略分两个阶段完成挑选。(1)观察阶段:只看不决定,先了解前面出现的钻石的大小,心里有个底;(2)选择阶段:选择比之前所有钻石都大的那颗,如果到第十层还没做出选择,就选择最后一颗钻石。...原创 2019-09-29 01:18:03 · 4572 阅读 · 1 评论