笔记
Ivan Cheng
这个作者很懒,什么都没留下…
展开
-
2020-08-22
原理1.基础概念熵:一种事物的不确定性(比如说买西瓜的时候不知道甜不甜)信息:消除不确定性,排除干扰,确定情况(卖西瓜的人保证很甜)噪音:也是一种消息,但是不能消除你对某件事的不确定性。信息熵(Ent(D)):是一种衡量数据混乱程度的指标,信息熵越小,则数据的“纯度”越高2.熵的量化(1)概率分布相等的情况下: 所用到的公式为:解释如下:硬币数 出现的结果数量1 22 43 8n 也就是说当出现8种等概率的不确定性条件下也就是相当于抛3个硬币,即熵为3bit4种等概率的不确定性情况,相当于抛了两个硬币,熵原创 2020-08-22 21:58:49 · 719 阅读 · 0 评论 -
逻辑回归
逻辑回归(Logistic Regression,简称 LR)虽然名字中带有“回归”二字,但其实是一种线性分类器,其本质是由线性回归变化而来的一种广泛使用于分类问题中的广义回归算法。要理解逻辑回归从何而来,首先要理解线性回归。线性回归是机器学习中最简单的的回归算法,它写作:θ 被统称为模型的参数,其中 θ0 被称为截距(intercept), θ1~θn被称为系数(coefficient),这个表达式,其实和我们小学时就熟知的 y=ax+b 是同样的性质。使用矩阵表示这个式子就是:线性回归即是要构造一个原创 2020-08-20 22:36:45 · 124 阅读 · 0 评论