- 博客(3)
- 收藏
- 关注
RSS订阅原创 练习3习题
一：信息论基础1.熵熵是用来衡量一个系统混论程度的物理量，代表一个系统中蕴含多少信息量，信息量越大表明一个系统不确定性就越大，就存在越多的可能性。熵（entropy）就用来衡量整个系统的总体信息量，其计算公式如下2.联合熵将一维随机变量分布推广到多维随机变量分布，则其联合熵 ：3.条件熵条件熵 H(Y|X)H(Y|X) 表示在已知随机变量 XX 的条件下随机变量 YY 的不确定性...
2019-01-31 15:13:13
1244
原创 第二次作业
1，西瓜书公式3.27的推导2，损失函数的最优化算法1）牛顿法（Newton’s method） 牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程f (x) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。 具体步骤： 首先，选择一个接近函数 f (x)零点的 x0，计算相应的 f (x0) 和切线斜率f ’ (x0)（...
2019-01-29 17:05:56
302
原创 线性回归练习
一：线性回归损失函数的极大似然推导1：极大似然估计原理：它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是，一个随机试验如有若干个可能的结果A，B，C，… ，若在一次试验中，结果A出现了，那么可以认为实验条件对A的出现有利，也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球，1个黑球；乙箱中有1个白球．99个黑球。现随机取出一箱，再从...
2019-01-27 10:39:25
587
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人