机器学习
爱吃糖的茄子
就让这风,听从吾之力吧!
展开
-
线性回归
机器学习常用概念损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。是定义在单个样本上的,算的是一个样本的误差。代价函数(Cost Function )是定义在整个训练集上的,是所有样本误差的平均,也就是损失函数的平均。目标函数(Object Functio...原创 2018-12-23 15:58:40 · 229 阅读 · 0 评论 -
集成学习
集成学习上图很好的总结了集成学习的基本思想,即通过将多个学习器进行结合,常可获得比单一学习器显著优越的泛化性能,这对‘弱学习器’尤为明显,因此集成学习的很多理论研究都是针对弱学习器的。有些类似常说的三个臭皮匠顶个诸葛亮。根据个体学习器的生成方式不同,目前集成学习主要分为以下两类算法个体学习器存在强依赖关系,必须串行生成的序列化方法。代表:Boosting(通俗讲,就是每个个体学习器的生成...原创 2018-12-23 16:54:06 · 464 阅读 · 0 评论 -
逻辑回归
原理与预测函数我们使用sigmod函数作为“广义线性模型”的单调可微函数g(.),得到y=11+e−(wTx+b)(1) y=\frac {1}{1+e^{-(w^T x+b)}} \qquad (1)y=1+e−(wTx+b)1(1)上式可变换为lny1−y=wTx+b(2) ln \frac{y}{1-y}=w^Tx+b \qquad (2) ln1−yy=wTx+b(2)若将y...原创 2018-12-23 17:02:44 · 420 阅读 · 0 评论 -
决策树
信息论基础信息熵:是一个随机变量不确定性的度量,对于一个离散型随机变量 X~ p(x) ,其离散熵可以定义为:H(x)=−∑x∈χp(x)log(p(x)) H(x)=-\sum_{x\in \chi} p(x)log(p(x)) H(x)=−x∈χ∑p(x)log(p(x))联合熵:分布为 p(x,y) 的一对随机变量 (X,Y) ,其联合熵定义为:H(X,Y)−=∑x∈χ∑y∈y...原创 2018-12-23 22:07:51 · 1830 阅读 · 0 评论