杉影-CSDN博客

原创决策树详解

决策树决策树通过分析样本的特征分布情况对实例进行分类或预测输出值。决策树每深入一层都是在选定特征向量划分特征空间，到达叶结点时，即可得到实例对应的类别或输出值。信息增益决策树每深入一层都需要选定一个特征向量，那么选定哪个特征向量会更有利于分类呢，这需要用到信息增益。熵首先我们要了解信息熵，熵是表示随机变量不确定性的度量，熵越大那么随机变量的不确定性就越大。这个概念借用自热力学中的熵，热力学中的熵是体系混乱程度的度量，熵越大，体系越混乱，越混乱，自然不确定性就越大。设X是一个取有限个值的离散随机变

2021-06-27 17:53:34 267

原创朴素贝叶斯法

朴素贝叶斯法设输入空间x∈Rnx\in R^nx∈Rn，输出空间为类标记集合y={c1.c2,...ck}y=\{c_1.c_2,...c_k \}y={c1.c2,...ck}先验概率先验概率是根据以往经验和分析得到的概率，先验概率分布为P(Y=ck),k=1,2,...K(1)P(Y=c_k),k=1,2,...K\tag 1P(Y=ck),k=1,2,...K(1)例如15个球中，红球（c1c_1c1）有3个；白球（c2c_2c2）有8个；绿球（c3c_3c3）有4个则

2021-06-21 09:41:10 103

原创 K近邻算法

K近邻法k近邻法是一种基本分类（定性）与回归（定量）方法，它通过选择目标实例的k个最近邻实例，使用多数表决（定性分类）或均值计算（定量回归）等方法对目标实例进行预测。k近邻的回归是在分类基础上的拓展，因此我们仅对分类法进行分析。上述内容可以说明k近邻法的几个关键问题k值的选择，即选择几个最近邻进行判断合适距离度量，即怎样算最近邻实例分类决策规则，即为什么要使用多数表决方法k-d树，数据的组织与查找算法。通过上述内容可以发现，k近邻法没有明显的函数可以利用实例的特征向量将实例映射到特定类别中，因

2021-06-17 17:42:34 234

原创感知机模型

感知机感知机模型分离超平面输入空间（特征空间）为x⊆Rnx\subseteq R^nx⊆Rn，输出空间为y={+1,−1}y=\{+1, -1\}y={+1,−1}，从输入空间到输出空间的函数为f(x)=sign(w⋅x+b)(1)f(x)=sign(w·x+b)\tag 1f(x)=sign(w⋅x+b)(1)其中w∈Rnw\in R^nw∈Rn，叫做权值向量；b∈Rb\in Rb∈R叫做偏置（注意不是RnR^nRn）；sing是符号函数，即sing(x)={+1,x≥0−1,x<

2021-06-11 16:39:01 89

原创快速选择的平均时间复杂度

快速选择的平均时间复杂度以快速排序算法的思路，在含有N个元素的无序列表中找到第k小元素的平均时间复杂度快速选择选择枢纽元，将原无序列表分为两组：小于枢纽元的在S1S_1S1组；大于枢纽元的在S2S_2S2组（假设无序列表中不存在重复元素）。令∣S1∣|S_1|∣S1∣为S1S_1S1中元素个数当k<∣S1∣k<|S_1|k<∣S1∣时，第k小元素位于S1S_1S1组中，对S1S_1S1组递归执行快速选择若k=∣S1∣+1k=|S_1|+1k=∣S1∣+1，此时第

2021-06-01 22:28:56 1297

原创左式堆分析

左式堆在右路径上有r个节点的左式堆必然至少有2r−12^r-12r−1个节点右路径是从根节点开始，一直往右儿子遍历经过的所有节点（即右儿子的右儿子的右儿子······构成的路径）。如图1所示，右路径为3，8使用数学归纳法证明此定理当r=1r=1r=1时此时根节点的右子树为空，npl(right)=−1npl(right) = -1npl(right)=−1，依据左式堆的性质，npl(left)≥npl(right)npl(left)\geq npl(right)npl(left)≥npl(r

2021-05-29 14:37:10 369

原创完美散列·当完美散列的冲突概率小于1/2时，二级散列表的大小的期望值

完美散列·当完美散列的冲突概率小于1/2时，二级散列表的大小的期望值**问题：**将N个元素放入两级散列表中，其中主散列表大小为N，当冲突概率小于1/2时，二级散列表的大小的期望值是多少？欲计算完美散列中二级散列表的大小的期望值，我们需要先求解在普通散列表（即仅有一张表的散列表）中，当冲突概率小于1/2时，该散列表的大小在普通散列表中，当冲突概率小于1/2时，该散列表的大小设普通散列表的大小为M，需要放入该散列表的元素个数为N原问题可转换为：将N个球放入M个盒中，M为多少时，可以使得多个球放入同一

2021-05-21 23:13:53 219

原创最短编辑距离·动态规划

最短编辑距离·动态规划有字符串An="a1a2a3...an",Bm="b1b2b3...bm"A_n="a_1 a_2 a_3...a_n",B_m="b_1 b_2 b_3...b_m"An="a1a2a3...an",Bm="b1b2b3...bm"，通过插入字符、删除字符、替换字符三种操作将两字符串变成相同字符串，最少需要几步操作设D[An][Bm]D[A_n][B_m]D[An][Bm]为两字符串的最短编辑距离，di[An][Bm]d_i[A_n][B_m]di[An

2021-05-14 15:00:06 115

原创平衡二叉树的单旋转与双旋转

平衡二叉树的单旋转与双旋转平衡二叉树的插入后失衡情景对一个平衡二叉树插入新数据导致二叉树失衡时，可以找到所有失衡节点中高度最小的节点，令该节点为k，我们可以发现，新插入的数据与k节点的关系不外乎如下四种情况：新数据插入了k的左儿子的左子树新数据插入了k的左儿子的右子树新数据插入了k的右儿子的左子树新数据插入了k的右儿子的右子树其中1‾\underline 11和4‾\underline 44是关于k节点的镜像对称，它们都位于树的“外边”（左-左；右-右）另外2‾\underline

2021-05-12 23:20:48 422

原创最大子序列和·动态规划分析

最大子序列和·动态规划分析题目给定序列{A1,A2,A3,...,AN}\{A_1,A_2,A_3,...,A_N\}{A1,A2,A3,...,AN}，求该序列的最大子序列和对应的序列分析以下将最大子序列和对应的序列简称为最大子序列设D[N]是序列的最大子序列，设d[N]是序列中必须含有ANA_NAN并以ANA_NAN结尾的最大子序列例：{-1，3，4，-2，7，-20}。D[4]={3, 4}，d[4]={3，4，-2}由D[N]是否含有ANA_NAN可得{D[N]=d[N

2021-05-11 16:40:29 165 1

原创二叉查找树的平均深度

二叉查找树的平均深度设一棵树总共有N个节点，其根节点的左子树有i个节点，则根节点的右子树有N-i-1个节点设D(N)为该树的内部路径长（即所有节点的深度之和），那么其根节点的左子树内部路径长为D(i)；其根节点的右子树内部路径长为D(N-i-1)当左子树连接到根节点时，左子树内的每个节点的深度都将加一，同理，右子树亦是如此。所以左右子树连接到根节点时深度总共增加N-1∴D(N)=D(i)+D(N−i−1)+N−1\therefore D(N)=D(i)+D(N-i-1)+N-1∴D(N)=D(i

2021-05-10 15:29:38 1514 3

原创欧几里德算法（辗转相除法）

欧几里德算法（辗转相除法）简介欧几里得算法是用来求两个正整数最大公约数的算法，算法将除数和余数反复做除法运算，当余数为0时，当前算式的除数为最大公约数。例子求50和15的最大公约数 gcd(50,15)50÷15=3（余5）50\div15=3（余5）50÷15=3（余5）以(1)的除数作为新的被除数，以(1)的余数作为新的除数15÷5=3（余0）15\div5=3（余0）15÷5=3（余0）在(2)中，余数为0，所以gcd(50,15)=5分析求gcd(a, b)（方便起见，假

2021-05-10 00:24:36 560

原创最大子序列和问题·联机算法

最大子序列和问题·联机算法题目给定（可能有负的）整数A1,A2,...,ANA_1, A_2, ..., A_NA1,A2,...,AN，求∑k=1nAk\sum_{k=1}^n A_k∑k=1nAk的最大值。（为方便起见，如果所有整数均为负数，则最大子序列和为0）易知若AiA_iAi<0，则AiA_iAi不可能为最大子序列和的起点。（因为总能通过Ai+1A_{i+1}Ai+1作起点优化最大子序列）设序列其各项和为Aij,其各项和为∑k=ijAk=Ai+Ai+1+...+A

2021-05-08 23:45:27 254

MS_QQ的博客