1、如何用极大似然概率解释交叉熵
一个事件的信息量为
当信息量为0时,即概率为百分之百
首先对于信息论中的熵来说,是对不确定性的测量,熵越高,能传输的信息越多,反之熵越低,能传输的信息越少。
交叉熵
最大似然概率
最小化交叉熵和最大似然函数结果是一样的
2、硬币问题为何不使用MLP而直接假设正反面概率p?
因为硬币问题相对于每个是独立事件,每次抛硬币是相互不影响的,没法使用MLP
逻辑回归是一个分类模型
3、面对未知分类问题,存在A、B、C三个模型,如何确定使用哪个模型?
1、拟合准确性要高
2、拟合速度更快
3、不会出现过拟合现象
猜想-实验-测试-结果