![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
你huai哦
一只学习大数据的菜鸟
展开
-
最大熵模型
前提知识熵:其实就是定义信息的不确定程度,熵越大,信息的不确定性就越强。其实这在决策树算法中就有提到。最大熵原理:第一种定义:学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型被认为是最好的模型。第二种定义:在满足约束条件的模型集合中选择熵最大的模型。熵的定义:熵满足下列不等式:其中|x|:表示x取值的个数。在不等式中,当且仅当x满足均匀分布时,右边的等号成立。即当x服从均匀分布时,熵最大。所以:按照个人的理解来看,最大熵原理就是在给定的条件下,每种情况均匀分布是最好的。就好比原创 2020-08-24 15:38:07 · 767 阅读 · 0 评论 -
决策树之CART算法
前提决策树算法详解(一)连接在前面介绍的决策树算法中,其特征的取值是离散的。就比如人的性别这个属性,只分为男女两个离散的值。在这样的情况下,决策树算法就无法应用到连续值上面去。为了将前面讲到的决策树算法应用到连续值上去。那么我们能想到的一种的思想就是:根据连续值中的一个值将特征划分为两类。而这正是CART算法的核心思想。核心思想假设决策树是二叉树,内部节点特征的取值为“是”与“否”。左分支取值为“是”,右分支取值为“否”。这样决策树就等价于递归地二分每个特征,将输入空间划分为了有限个单元。回归树原创 2020-08-22 09:06:59 · 602 阅读 · 0 评论 -
感知机
应用场景:数据集是线性可分的二分类问题。假设空间:即用一个超平面将数据集中的数据划分了两类。学习策略:M:一个超平面误分点的集合。学习策略:使所有误分点到超平面的距离之和最小。前提要保证所有的点被超平面进行了正确的划分。算法(梯度下降)两种形式:原始形式这种形式:在每一次找到误分类点之后需要更新权值向量w和偏置b。而且更新权值向量之后,还要计算向量之间的内积,这样比较耗时对偶形式在原始形式的基础上,我们假设初始权值向量w和偏置b为0;观察权值向量和偏置的更新:于是得到下面的式原创 2020-07-07 15:59:49 · 138 阅读 · 0 评论 -
粒子群优化算法(PSO)
相关的符号说明算法相关优化例子原创 2020-06-03 14:50:16 · 2639 阅读 · 0 评论