![](https://img-blog.csdnimg.cn/1237d395a27f4e41ba303ea7d97c5ce4.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
基础数学
文章平均质量分 71
基础数学
一只小菜狗:D
这个作者很懒,什么都没留下…
展开
-
LDA简要介绍
前情提要这里只列出与之有关的数学公式,并不做具体的推导与其背后的数学故事。如果感兴趣的朋友可以看看LDA数学八卦,里面有完整的故事背景和数学证明。gamma函数:其数学形式为:如果对其做分部积分,我们有如下性质:易知:Dirichlet分布:其数学形式如下:对于给定的p⃗\vec pp和NNN,定义多项分布为:而上述这两个分布是共轭关系。Dirichlet 分布的一个性质:上面的内容不懂也没有关系,只需要在用到的时候过来查阅便好,这里列出只是方便查阅。吉布斯采样:这原创 2021-10-21 16:50:35 · 503 阅读 · 0 评论 -
MCMC和Gibbs Sampling
很多常见的概率分布,都可以用Uniform(0,1)Uniform(0, 1)Uniform(0,1)的样本生成,比如正态分布:但是,如果某个分布过于复杂,样本的生成就很困难了。于是我们需要更加复杂的随机模拟方法生成样本。MCMC采样和gibbs sampling就是常用的一种。介绍这两个算法前,需要有一些马氏链的基本知识。马尔科夫链马尔可夫链又称离散时间马尔可夫链,为状态空间中经过从一个状态到另一个状态转换的随机过程。该过程要求具有“无记忆”的性质:下一个状态的概率分布只能由当前状态来决定,在时原创 2021-10-21 14:01:06 · 246 阅读 · 0 评论 -
最优化方法小结
线性搜索方法梯度下降牛顿法置信域方法启发式算法原创 2021-10-19 15:13:25 · 599 阅读 · 0 评论 -
svm手写推导
原创 2021-10-14 00:29:36 · 61 阅读 · 0 评论 -
线性回归,岭回归,LASSO回归与逻辑回归
线性回归线性回归,顾名思义,是使用属性之间的线性组合以预测输出,引入常量项x0=1x_0=1x0=1 后,其数学公式如下:y=∑i=0Nwixiy = \sum_{i=0}^N w_i x_iy=i=0∑Nwixi一般来说,我们使用均方误差作为其损失函数,其数学公式如下:L=∑k=1(w⃗xk−yk)2L=\sum_{k=1} (\vec w x_k-y_k)^2L=k=1∑(wxk−yk)2那我们的...原创 2021-10-12 10:59:14 · 3367 阅读 · 0 评论