FeynmanWang-CSDN博客

原创机器学习算法

感知机感知机(perceptron)学习算法的原始形式感知机(perceptron)学习算法的对偶形式k近邻法k近邻法(k-nearest neighbor, k-NN)构造平衡kd树(kd tree)用kd树的最近邻搜索朴素贝叶斯法朴素贝叶斯算法(naive Bayes algorithm)决策树信息增益(比)的算法ID3和C4.5算法树的剪枝(pruning)算法最小二

2015-07-28 16:44:19 400

原创 EM算法

算法：\qquad 输入：观测变量数据 YY，隐变量数据 ZZ，联合分布 P(Y,Z|θ)P(Y,Z|\theta)，条件分布 P(Z|Y,θ)P(Z|Y,\theta)； \qquad 输出：模型参数 θ\theta . \qquad (1) 选择参数的初值 θ(0)\theta^{(0)}，开始迭代； \qquad (2) E 步：记 θ(i)\theta^{(i)} 为第 ii 次迭代参

2015-07-28 15:31:38 489

原创梯度提升(gradient boosting)算法

算法：\qquad 输入：训练数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)},xi∈Rn,yi∈R；损失函数L(y,f(x));T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\},x_i\in\Bbb R^n,y_i\in\Bbb R\text{；损失函数} L(y,f(x)); \qquad 输出：回归树 f^(x)\hat f(x) .

2015-07-28 11:21:12 1304

原创回归问题的提升树(boosting tree)算法

算法：\qquad 输入：训练数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)},xi∈Rn,yi∈R;T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\},x_i\in\Bbb R^n,y_i\in\Bbb R; \qquad 输出：提升树 fM(x)f_M(x) . \qquad (1) 初始化 f0(x)=0f_0(x)=0 \qquad

2015-07-28 10:35:35 3079 1

原创前向分步算法(forward stagewise algorithm)

算法：\qquad 输入：训练数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}；损失函数 L(y,f(x))L(y,f(x)) ；基函数集 {b(x;γ)}\{b(x;\gamma)\}； \qquad 输出：加法模型 f(x)f(x) . \qquad (1) 初始化 f0(x)=0f_0(x

2015-07-28 09:55:09 5633

原创 AdaBoost

算法：\qquad 输入：训练数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}，其中 xi∈Rn,yi∈{−1,+1}x_i\in\Bbb R^n,\quad y_i\in\{-1,+1\}；弱学习算法； \qquad 输出：最终分类器 G(x)G(x) . \qquad (1) 初始化训练数据

2015-07-27 22:49:30 438

原创非线性支持向量机学习算法

算法：\qquad 输入：线性可分训练集 T={(x1,y1),(x2,y2),⋯,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}，其中 xi∈Rn,yi∈{−1,+1}x_i\in \Bbb R^n,y_i\in\{-1,+1\} \qquad 输出：分类决策函数 \qquad (1) 选择适当的核函数 K(x,z)\color{blue}

2015-07-27 21:11:50 689

原创线性支持向量机学习算法

算法：\qquad 输入：线性可分训练集 T={(x1,y1),(x2,y2),⋯,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}，其中 xi∈Rn,yi∈{−1,+1}x_i\in \Bbb R^n,y_i\in\{-1,+1\} \qquad 输出：分离超平面和分类决策函数 \qquad (1) 选择惩罚参数 C>0\color{red}

2015-07-27 20:46:27 593

原创线性可分支持向量机对偶算法

算法：\qquad 输入：线性可分训练集 T={(x1,y1),(x2,y2),⋯,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}，其中 xi∈Rn,yi∈{−1,+1}x_i\in \Bbb R^n,y_i\in\{-1,+1\} \qquad 输出：分离超平面和分类决策函数 \qquad (1) 构造并求解约束最优化问题minα12∑i=

2015-07-27 19:29:46 1409

原创线性可分支持向量机学习算法——最大间隔法

算法：\qquad 输入：线性可分训练数据集 T={(x1,y1),(x2,y2),cdots,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),cdots,(x_N,y_N)\}，其中，xi∈Rn,yi∈{−1,+1}x_i\in \Bbb R^n,y_i\in\{-1,+1\} \qquad 输出：最大间隔分离超平面和分类决策函数 . \qquad (1) 构造并求解约束最优化

2015-07-27 17:09:18 2556

模型：Pw(y|x)=1Zw(x)exp(∑i=1nwifi(x,y))P_w(y|x)=\frac 1 {Z_w(x)}\exp\left(\sum_{i=1}^nw_if_i(x,y)\right)其中，Zw(x)=∑yexp(∑i=1nwifi(x,y))Z_w(x)=\sum_y \exp\left(\sum_{i=1}^nw_if_i(x,y)\right)模型的导出：最大熵模型的学习等价

2015-07-27 15:47:56 388

原创逻辑斯谛(logistic regression)回归

模型：P(Y=1|x)=exp(w⋅x)1+exp(w⋅x)P(Y=1|x)=\frac{\exp(w\cdot x)}{1+\exp(w\cdot x)}P(Y=0|x)=11+exp(w⋅x)P(Y=0|x)=\frac 1 {1+\exp(w\cdot x)} 这里权值向量和输入向量都为扩充后的表示 .参数估计：用极大似然估计法估计模型参数设：P(Y=1|x)=π(x),P(Y=0|x)

2015-07-27 10:42:10 885

原创 CART 剪枝算法

算法：\qquad 输入：CART 算法生成的决策树 T0T_0； \qquad 输出：最优决策树 TαT_\alpha . \qquad (1) 设 k=0,T=T0k=0,\quad T=T_0 . \qquad (2) 设 α=+∞\alpha=+\infty . \qquad (3) 自下而上地对各内部结点 tt 计算 C(Tt)，|Tt|C(T_t)，|T_t|以及g(t)=C(t

2015-07-26 13:13:27 885

原创 CART生成算法

算法：\qquad 输入：训练数据集 DD，停止计算的条件； \qquad 输出：CART 决策树。 \qquad 根据训练数据集，从根结点开始，递归地对每个结点进行以下操作，构造二叉决策树： \qquad (1) 设结点的训练数据集为 DD，计算现有特征对该数据集的基尼指数。此时，对每一个特征 AA，对其可能取得每个值 aa，根据样本点对 A=aA=a 的测试为“是”或“否”将 DD 分割成

2015-07-26 12:50:09 769

原创最小二乘回归树生成算法

算法：\qquad 输入：训练数据集 DD； \qquad 输出：回归树 f(x)f(x) . \qquad 在训练数据集所在的输入空间中，递归地将每个区域划分为两个子区域并决定每个子区域上的输出值，构建二叉决策树： \qquad (1) 选择最优切分变量 jj 与切分点 ss，求解minj,s⎡⎣minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)

2015-07-26 12:27:05 7610 6

原创树的剪枝(pruning)算法

算法：\qquad 输入：生成算法产生的整个树 TT，参数 α\alpha； \qquad 输出：修剪后的子树 TαT_\alpha. \qquad (1) 计算每个结点的经验熵。 \qquad (2) 递归地从树的叶节点向上回缩。 \qquad\quad 设一组叶结点回缩到其父结点之前与之后的整体树分别为 TBT_B 与 TAT_A，\qquad 其对应的损失函数值分别是 Cα(TB)C_

2015-07-25 14:58:45 1904

原创 ID3和C4.5算法

算法：ID3算法\qquad 输入：训练数据集 DD，特征集 AA，阈值 ϵ\epsilon； \qquad 输出：决策树 TT。 \qquad (1) 若 DD 中所有实例属于同一类 CkC_k，则 TT 为单结点树，并将类 CkC_k 作为该节点的类标记，返回 TT； \qquad (2) 若 A=∅A=\varnothing，则 TT 为单结点树，并将 DD 中实例数最大的类 CkC_k

2015-07-25 13:58:08 454

原创信息增益(比)的算法

算法：\qquad 输入：训练数据集 DD 和特征 AA ; \qquad 输出：特征 AA 对训练数据集 DD 的信息增益 g(D,A)g(D,A) 。 \qquad (1) 计算数据集 DD 的经验熵 H(D)H(D) H(D)=−∑k=1K|Ck||D|log2|Ck||D|H(D)=-\sum_{k=1}^K \frac {|C_k|} {|D|} \log_2 {\frac {|C_k

2015-07-25 13:11:29 3639

原创朴素贝叶斯算法(naive Bayes algorithm)

算法：\qquad 输入：训练数据 T={(x1,y1),(x2,y2),…,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),\ldots,(x_N,y_N)\}，其中 xi=(x(1)i,x(2)i,…,x(n)i)Tx_i=(x_i^{(1)},x_i^{(2)},\ldots,x_i^{(n)})^T, x(j)ix_i^{(j)} 是第 ii 个样本的第 jj 个特征， x(

2015-07-24 17:43:47 728

原创用kd树的最近邻搜索

算法：\qquad 输入：已构造的 kdkd 树；目标点 xx ; \qquad 输出：xx 的最近邻。 \qquad (1) 在 kdkd 树中找出包含目标点 xx 的叶节点：从根节点出发，递归地向下访问 kdkd 树。若目标点 xx 当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点。直到子节点为叶节点为止。 \qquad (2) 以此叶节点为”当前最近点“。 \qqua

2015-07-24 15:17:36 1100

原创构造平衡kd树(kd tree)

算法：\qquad 输入：kk 维空间数据集 T={x1,x2,…,xN}T=\{x_1,x_2,\ldots ,x_N\}, 其中 xi=(x(1)i,x(2)i,…,x(k)i)T,i=1,2,…,Nx_i=(x_i^{(1)},x_i^{(2)},\ldots,x_i^{(k)})^T,\quad i=1,2,\ldots,N； \qquad 输出：kdkd 树 \qquad (1)

2015-07-24 14:46:03 4107 1

原创 k近邻法(k-nearest neighbor, k-NN)

算法：\qquad 输入：训练数据集T={(x1,y1),(x2,y2),…,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),\ldots,(x_N,y_N)\} 其中，xi∈Rnx_i\in \Bbb R^n为实例的特征向量，yi∈{c1,c2,…,cK}y_i \in \{c_1,c_2,\ldots,c_K\}为实例的类别，i=1,2,…,N;i=1,2,\ldots,N;

2015-07-24 12:21:42 677

原创感知机(perceptron)学习算法的对偶形式

算法：\qquad 输入：训练数据集T={(x1,y1),(x2,y2),…,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),\ldots,(x_N,y_N)\}，其中xi∈Rnx_i\in \Bbb R^n,yi∈{−1,1}，i=1,2,…,Ny_i \in \{-1,1\}，i=1,2,\ldots,N ；学习率 η(0<η≤1)\eta(0\lt\eta\le1); \

2015-07-24 11:40:13 2039

原创感知机(perceptron)学习算法的原始形式

算法：\qquad 输入:训练数据集T={(x1,y1),(x2,y2),…,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),\ldots,(x_N,y_N)\},其中xi∈Rnx_i\in \Bbb R^n,yi∈{−1,1}，i=1,2,…,Ny_i \in \{-1,1\}，i=1,2,\ldots,N ；学习率 η(0<η≤1)\eta(0\lt\eta\le1); \qq

2015-07-24 11:01:37 823

转载欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2015-07-23 17:59:14 215

FeynmanWang的博客