分类算法作业

1、如何用极大似然概率解释交叉熵

一个事件的信息量为

I(x)=-logp(x)

当信息量为0时,即概率为百分之百

首先对于信息论中的熵来说,是对不确定性的测量,熵越高,能传输的信息越多,反之熵越低,能传输的信息越少。

H(X)=-\sum_{i}^{n}p(x)logp(x)

交叉熵

CE(X)=-\sum_{i}^{n}p_\theta (x_i)logp_{\hat{\theta}}(x_i)

最大似然概率

最小化交叉熵和最大似然函数结果是一样的

2、硬币问题为何不使用MLP而直接假设正反面概率p?

因为硬币问题相对于每个是独立事件,每次抛硬币是相互不影响的,没法使用MLP

逻辑回归是一个分类模型

3、面对未知分类问题,存在A、B、C三个模型,如何确定使用哪个模型?

1、拟合准确性要高

2、拟合速度更快

3、不会出现过拟合现象

猜想-实验-测试-结果

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值