分类算法作业

1、如何用极大似然概率解释交叉熵

一个事件的信息量为

当信息量为0时，即概率为百分之百

首先对于信息论中的熵来说，是对不确定性的测量，熵越高，能传输的信息越多，反之熵越低，能传输的信息越少。

交叉熵

最大似然概率

最小化交叉熵和最大似然函数结果是一样的

2、硬币问题为何不使用MLP而直接假设正反面概率p?

因为硬币问题相对于每个是独立事件，每次抛硬币是相互不影响的，没法使用MLP

逻辑回归是一个分类模型

3、面对未知分类问题，存在A、B、C三个模型，如何确定使用哪个模型？

1、拟合准确性要高

2、拟合速度更快

3、不会出现过拟合现象

猜想-实验-测试-结果