算法
文章平均质量分 74
Star_ACE
一个缺乏创造力的程序猿
展开
-
朴素贝叶斯的简单理解
首先,介绍下全概率公式:P(A)=∑ni=1P(Bi)⋅P(A|Bi)=∑niP(ABi)P(A)=∑i=1nP(Bi)⋅P(A|Bi)=∑inP(ABi)P(A)=\sum_{i=1}^{n}P(B_i)\cdot P(A|B_i)=\sum_{i}^{n}P(AB_i)而条件概率:P(A|Bi)=P(ABi)P(Bi)P(A|Bi)=P(ABi)P(Bi)P(A|B_i)=\frac{P(...原创 2018-09-06 16:05:58 · 457 阅读 · 0 评论 -
SVM的简单理解
1、基本知识决策边界,或称为决策面,其目的是将两种类别的进行分开。决策边界如何定义?训练集上的正负样本到决策边界的距离保持最大。支撑向量是什么?可以理解为当前样本下,支撑当前决策边界的样本,如何支撑向量不变,继续增加训练样本,决策边界不会发生变化。松弛因子ei,对约束进行放松,允许噪声点的存在,这个很重要,因为大部分情况下样本都是近似可分(即使在使用核函数的情况下),松弛因子的存在使寻找的...原创 2018-10-11 20:18:03 · 622 阅读 · 0 评论 -
最大似然估计
给定一个概率分布DDD,已知其概率密度函数(连续分布)或概率质量函数(离散分布)为fDf_DfD,以及一个分布参数θ\thetaθ,我们可以从这个分布中进行nnn次采样:P(x1,x2,⋅⋅⋅,xn)=fD(x1,⋅⋅⋅,xn∣θ)P(x_1,x_2,···,x_n)=f_D(x_1,···,x_n|\theta)P(x1,x2,⋅⋅⋅,xn)=fD(x1,⋅⋅⋅,xn∣θ)但是...原创 2018-09-29 01:18:05 · 220 阅读 · 0 评论 -
K-L散度(相对熵)的理解
信息量III消息中有意义的内容成为信息。信息量函数:I=−lnpiI=-lnp_iI=−lnpi其中,pip_ipi是事件xix_ixi的发生概率。信息熵HHH它是用来对信息度量,描述信息的多于少的问题。公式为H=−∑i=1Np(xi)⋅log p(xi)H=-\sum_{i=1}^{N}p(x_i)\cdot log\ p(x_i)H=−i=1∑Np(xi)⋅log&n...原创 2018-10-19 00:35:23 · 3825 阅读 · 0 评论 -
Hessian矩阵
转:黑塞矩阵(Hessian Matrix)黑塞矩阵(Hessian Matrix),是一个多元函数的二阶偏导数构成的方阵,描述了函数的局部曲率。黑塞矩阵常用于牛顿法解决优化问题,利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中,所列的目标函数往往很复杂,为了使问题简化,常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数,此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。...转载 2018-10-31 19:20:26 · 74797 阅读 · 2 评论