![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
集成学习
文章平均质量分 82
主要是集成学习的相关笔记
CUHK-SZ-relu
一只小程序员
展开
-
傅里叶变换
写在前面首先,我下面所写的内容全部是我看视频的笔记,如果您想直接看视频点进去就行了:傅里叶变换的数学推导1.理解三角函数具有正交性1.1什么是函数的正交性函数的正交性,我们有一点陌生所以我们应当从我们熟知的向量开始,从向量正交开始扩展我们知道:如果有下面的两个向量:当下面的式子成立的时候我们就可以说这两者是相互垂直的。也就是:这里我们看到了累加符号,这里是离散当中的累加,那么我们对应我们联系的函数当中的正交就是函数相乘积分为0的时候两者是相互正交的,也就是下面的式子:当然我们应当注原创 2021-08-18 15:48:08 · 1101 阅读 · 0 评论 -
信息熵和交叉熵的细节理解
先陈述我这里说了半天的信息熵是个什么东西?这里说的信息熵是什么东西?信息熵主要是应用在集成学习作为评价指标,判定我们某次的分类是不是效果足够好。这里说的交叉熵是什么东西?虽然之前还有其他应用,但是这个东西目前最主要的应用还是深度学习当中作为损失函数来支撑反向传播的优化。1.什么是信息量?从信号量理解信息熵先看百度百科怎么说:信息量是指信息多少的量度。1928年R.V.L.哈特莱首先提出信息定量化的初步设想,他将消息数的对数定义为信息量。若信源有m种消息,且每个消息是以相等可能产生的,则该信源原创 2021-08-16 18:21:38 · 476 阅读 · 0 评论 -
集成学习(一)—预备知识:分类树和回归树
分类树:就是使用决策树来完成分类,决策的依据主要有:1.信息熵通过下面的例子我们很快就可以理解了,这个东西反映的就是当前情况下的不确定性,如果当前情况下大概率是某种结果那么计算出的结果就更加的接近0条件熵的问题,这个我们来理解一下就是在某种确定的条件下,不确定性是不是还是很高的问题。信息增益,也就是说我们得到了某个条件之后,确定性增加了多少的问题。接下来就是如何考虑信息增益的情况了,我们增加一个条件其实就是,对原来的内容进行再次划分,如下图所示:增加条件是一种再次划分:我们可以看到这原创 2021-06-10 16:17:13 · 223 阅读 · 0 评论