![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 82
sbddhh
这个作者很懒,什么都没留下…
展开
-
常见的各种熵
机器学习里面,经常会看到各种熵,特意在此简单总结下。前言信息熵是由香农1948年提出的用来定量描述信息量大小的概念。在机器学习中用来表示随机变量分布的混乱程度,分布越混乱,熵越大。1.自信息自信息表示某单一事件发生时所包含的信息量多少,大小和事件发生的概率有关,概率越大,自信息越小,计算公式如下: I(pi)=−log(pi)I(pi)=−log(pi) I(p_i) =-log...原创 2018-04-15 20:20:12 · 6098 阅读 · 0 评论 -
正则化
1. 引言 机器学习中经常会出现两种情况:欠拟合和过拟合。欠拟合问题很好解决,增加模型复杂度就好,真正让人头疼的是过拟合问题,会导致过拟合的原因有很多,也就导致了很难去解决这个问题,这里介绍一种经常被用来解决过拟合的手段:正则化。(关于正则化很推荐看Andrew Ng的Coursera机器学习课,讲的很清楚,这篇博客里面的图也基本是课程里面的讲义截图)2. 原理介绍 关于欠拟合和过拟合可以...原创 2018-04-22 21:31:24 · 280 阅读 · 0 评论