- 博客(3)
- 收藏
- 关注
原创 信息、信息熵、条件熵、信息增益、信息增益率、GINI指数、交叉熵、相对熵
在信息论与概率统计学中,熵(entropy)是一个很重要的概念。在机器学习与特征工程中,熵的概念也常常是随处可见。自己在学习的过程中也会常常搞混,于是决定将所有与熵有关的概念整理总结,方便查看和学习。1. 信息它是熵和信息增益的基础概念。引用香农的话,信息是用来消除随机不确定性的东西。如果一个带分类的事物集合可以划分为多个类别,则其中某个类(xi)的信息定义: ...
2018-08-09 19:11:07 6419
原创 Python基础——numpy.random的使用
Numpy中的random模块用于生成随机数,常用函数的用法总结如下:1. 产生随机数numpy.random.rand(d1,d2,d3...dn):生成一个[0,1)之间的随机浮点数或N维浮点数组。>>>import numpy as np>>>np.random.rand(10) #生成shape = 10 的一维随机数组Out[1...
2018-08-06 16:48:12 5728
原创 深度学习之优化算法
在⼀个深度学习问题中,通常我们会预先定义⼀个损失函数。有了损失函数,就可以使⽤优化算法试图使其最小化。在优化中,这样的损失函数通常被称作优化问题的⽬标函数(objectivefunction)。依据惯例,优化算法通常只考虑最小化⽬标函数。因为任何最⼤化问题都可以很容易地转化为最小化问题:只需把⽬标函数前⾯的正号或负号取相反。在深度学习问题中,由于优化算法的⽬标函数通常是⼀个基于训练数据集的损失...
2018-08-04 19:00:54 1482
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人