![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Math
ShaneRun
To Think, To Explore, To Contribute.
展开
-
[200908] 熵,交叉熵,KL散度
[200908] 熵,交叉熵,KL散度信息熵(Entropy)信息熵(Entropy)是衡量分布的混乱程度或分散程度的一种度量。分布越分散(或者说分布越平均),信息熵就越大。分布越有序(或者说分布越集中),信息熵就越小。(https://www.cnblogs.com/soyo/p/6893551.html)信息熵用bit位数来定量表示。H(p)=−∑pi∗log2pi H(p) = -\sum{p_i*\log_2{p_i}}H(p)=−∑pi∗log2pi其中pip_ipi为X中原创 2020-09-08 15:02:47 · 207 阅读 · 0 评论 -
[200903] 逻辑回归及交叉熵
[200903] 逻辑回归及交叉熵通过B站,理解了逻辑回归和交叉熵:Q: 逻辑回归为什么不可以叫逻辑分类?A: 用回归的方法(找到不同类别之间的分界线)解决逻辑分类问题(包括二分类和多分类问题)。基于sigmoid的二分类问题的交叉熵sigmoid的输出是[0,1]这是一个概率的范围。对于二分类问题,给定一个数据[x,ylabely_{label}ylabel], 预测值为 ypredy_{pred}ypred.当ylabely_{label}ylabel为0时,损失函数表示为-log(原创 2020-09-03 13:33:30 · 117 阅读 · 0 评论 -
[200902] 全概率与贝叶斯公式
[200902] 全概率与贝叶斯公式通过B站,巩固了全概率公式与贝叶斯公式:首先是某个事件B的完备事件组{A1,A2,…,An}可以用因果关系来理解。Ai是第i个“因”,B是“果”。Ai --------> B 代表Ai发生后B发生的概率,即条件概率P(B|Ai)B ---------> Ai 代表B发生了,同时是由Ai发生导致的概率,即P(Ai|B)全概率公式先验概率范畴:由因及果。在Ai发生的条件下,所有Ai–>B的可能性,加在一起。P(B)=∑P(B∣Ai)∗P(原创 2020-09-03 13:13:12 · 263 阅读 · 0 评论 -
[200902] 条件概率与独立事件
[200902] 条件概率与独立事件通过B站,巩固了条件概率与独立事件:条件概率表示事件A发生后,事件B发生的概率。两者应该处于同一空间。A与B同时发生的概率,除以A发生的概率。P(B∣A)=P(AB)P(A) P(B|A) = \frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)A和B的空间来理解,如果A和B是互斥事件,则P(AB)=0。如果两者独立,则P(B|A)=P(B),即A发生与否对B无影响。如果两者有交集,则条件概率可以表征两者交集的大小。如果条件概率越大,则原创 2020-09-03 11:15:32 · 2305 阅读 · 0 评论 -
[200902] 协方差与相关系数
[200902] 协方差与相关系数通过B站,学习到协方差与相关系数。有如下几个要点:协方差是两个变量之间的总体误差,方差是协方差的特例,即两个变量相同时。Cov(X,Y)=E(X−E(X))∗E(Y−E(Y)) Cov(X,Y)=E(X-E(X))*E(Y-E(Y)) Cov(X,Y)=E(X−E(X))∗E(Y−E(Y))特别的:Cov(X,C)=0, C为常数;Cov(aX,bY)=ab*Cov(X,Y)相关系数是表示两个变量之间的线性相关度的,范围为[-1, 1]。0为不相关,正数为正相原创 2020-09-03 11:14:07 · 161 阅读 · 0 评论