- 博客(5)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 最优化学习笔记（四）——最速下降法
一、最速下降法的理念 最速下降法是梯度方法的一种实现，它的理念是在每次的迭代过程中，选取一个合适的步长αk\alpha_k，使得目标函数的值能够最大程度的减小。αk\alpha_k可以认为是函数ϕk(α)=f(x(k)−α∇f(x(k)))\phi_k(\alpha) = f(x^{(k)}-\alpha \nabla f(x^{(k)}))的极小值点： αk=argminf(x(k)−α
2016-05-29 10:19:05
38151
1
原创 最优化学习笔记（三）——梯度下降法
本来这周计划写下逻辑回归的学习笔记，但是其中用到了最优化对数似然函数，因此决定先复习下梯度方法和拟牛顿法。本节先从纯数学的角度总结下梯度下降法。一、柯西-施瓦茨不等式对于 Rn\mathbb {R^n}中的任意两个向量 x\boldsymbol{x} 和y\boldsymbol{y}， 有： |<x,y>|≤||x||||y|||<\boldsymbol{x},\boldsymbol{y}>|
2016-05-22 11:04:19
5397
2
原创 最优化学习笔记（二）——二分法
二分法是一种一维搜索方法。它讨论的是求解一元单值函数f:R→R在区间[a0,b0]f: \mathbb{R} \to \mathbb{R} 在区间[a_0, b_0]的极小点问题。同时要求函数ff在区间[a0,b0][a_0, b_0]上为单调函数，并且是连续可微的，这里将使用ff的一阶导数f′f'。 二分法的计算过程比较简单，它主要是利用一阶导数来连续压缩区间的方法。 1.确定初
2016-05-14 10:40:40
6492
原创 机器学习笔记（九）——决策树的生成与剪枝
一、决策树的生成算法 基本的决策树生成算法主要有ID3和C4.5, 它们生成树的过程大致相似，ID3是采用的信息增益作为特征选择的度量，而C4.5采用信息增益比。构建过程如下： 从根节点开始，计算所有可能的特征的信息增益（信息增益比），选择计算结果最大的特征。 根据算出的特征建立子节点，执行第一步，直到所有特征的信息增益（信息增益比）很小或者没有特征可以选择为止。
2016-05-08 11:43:00
3860
原创 机器学习笔记（八）——决策树模型的特征选择
一、引言决策树构建过程中的特征选择是非常重要的一步。特征选择是决定用哪个特征来划分特征空间，特征选择是要选出对训练数据集具有分类能力的特征，这样可以提高决策树的学习效率。如果利用某一个特征进行分类与随机分类的结果没有很大的差别，则称这个特征是没有分类能力的。这样的特征可以丢弃。常用的特征选择的准则是信息增益和信息增益比。二、信息增益要了解信息增益，我们要先知道熵与条件熵的定义。2.1 熵熵是无序度的
2016-05-01 11:47:06
11313
ActionScript.chm
2011-10-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人