2016年04月__Kevin_Duan_

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创机器学习笔记（七）——决策树模型

引言决策树（Decision Tree）是一种基本的分类和回归方法。它的扩展方法有GBDT和GBRT 等。决策树模型的学习过程主要有特征选择、决策树生成和剪枝。主要算法有ID3、C4.5和CART等。一、决策树模型决策树首先是一个树形结构，它包括两种类型的节点：内部节点和叶节点。内部节点是属性，叶节点是具体的分类。当决策树根据一些学习方法建立好之后，就可以进行实例的预测了，首先从根节点开始，对应决策

2016-04-24 22:26:24 869

原创最优化学习笔记（一）——牛顿法(一维搜索方法)

一、一维搜索方法讨论目标函数为一元单值函数f:R→Rf: \mathbb{R} \to \mathbb{R}时的最优化问题的迭代求解方法。二、局部极小点的条件n元实值函数ff的一阶导数DfDf为： Df≜[∂f∂x1,∂f∂x2,…,∂f∂xn]Df \triangleq \lbrack \frac{\partial f}{\partial x_1}, \frac{\partial f}{\pa

2016-04-17 12:02:46 7998

原创机器学习笔记（六）——朴素贝叶斯法的参数估计

一、极大似然估计在上一笔记中，经过推导，得到了朴素贝叶斯分类器的表示形式： y=argmaxckP(Y=ck)∏jP(X(j)=x(j)|Y=ck)(1) y = arg \max_{c_k} P(Y=c_k)\prod_jP(X^{(j)} = x^{(j)}| Y=c_k) (1)也就是说，朴素贝叶斯方法的学习是对概率P(Y=ck)P(Y=c_k)和P(X(j)=x(j)|Y=ck)P

2016-04-10 11:26:50 6624

原创机器学习笔记（五）续——朴素贝叶斯算法的后验概率最大化含义

上一节中讲了朴素贝叶斯算法将实例分到后验概率最大的类。这等价于期望风险最小化。假设使用0-1损失函数： L(Y,f(X))={1,0,Y≠f(X)Y=f(X) L(Y, f(X)) = \Bigg\{ \begin{array} {ll} 1, & Y \neq f(X) \\ 0, & Y = f(X) \end{array} 上式中的f(x)f(x)是分类

2016-04-04 22:06:00 5409 8