![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 92
qq_14847537
这个作者很懒,什么都没留下…
展开
-
提升树
提升树提升树模型提升的方法采用加法模型(即基函数的线性组合)与前向分步算法。提升树算法提升树算法采用分步算法。首先确定初始提升树f_0(x)=0,第 m 步的模型是f_m(x) = f_{m-1}(x) + T(x;\Theta_m)其中, T(x;\Theta_m)表示决策树; \Theta_m为决策树的参数;f_{m-1}(x)为当前模型,通过经验风险极小化确定下一颗决策树的参数\Theta_m原创 2017-08-27 10:55:20 · 289 阅读 · 0 评论 -
centos解决bash: service: command not found 错误
centos解决bash: service: command not found 错误在centos系统中,如果/sbin目录下没有service这个命令,就会出现bash: service: command not found解决步骤如下: 1、 输入yum list | grep initscripts会出现:initscripts.x86_64(其实一共有三个信息,但是后面根据版本不同,显示原创 2017-10-31 10:14:58 · 68155 阅读 · 10 评论 -
损失函数优化方法
梯度下降法梯度下降法是求解无约束最优化问题的一种最常用方法,有实现简单的优点。它是一种迭代算法,每一步需要求解的目标函数的梯度向量。假设 f(x)f(x) 是 Rn\mathbf R^n 上具有一阶连续偏导数的函数。要求解的无约束最优化问题是:minx∈Rnf(x)\min_{x \in \mathbf R^n} f(x)x∗x^* 表示目标函数 f(x)f(x) 的极小点。由于负梯度方向是使函数值转载 2017-10-02 22:29:27 · 4728 阅读 · 0 评论 -
Hadoop实现全排序要点及基本框架
MapReduce实现全排序要点有两种方式,一种是继承 WritableComparable 接口,另一种是实现自己的比较器 Comparator。WritableComparable 接口所有的 Mappers 和 Reducers 进程中的对象都必须实现一个特定的接口:Writable 接口。另外,Reducer 端的 Key 要实现 WritableComparable 实例。Writable原创 2017-08-29 19:26:21 · 349 阅读 · 0 评论 -
Bagging与随机森林
Bagging与随机森林Bagging自助法(bootstrapping)给定包含mm个样本的数据集 DD,我们对它进行采样产生数据集 D′D':每次随机从 DD 中挑选一个样本,将其拷贝放入 D′D',然后再将该样本放回初始数据集 DD 中,使得该样本在下次采样时仍有可能被采到;这个过程重复执行 mm 次后,我们就得到了包含 mm 个样本的数据集 D′D',这就是自助采样的结果。显然,DD 中有一原创 2017-08-27 11:04:16 · 309 阅读 · 0 评论 -
神经网络
神经网络神经元模型f=(∑i=1nωixi−θ)f=\left(\sum^n_{i=1}\omega_ix_i - \theta \right) 其中 xix_i 为来自第 ii 个神经元的输入,ω\omega 是第 ii 个神经元的连接权重,θ\theta 是阈值. 经常用 Sigmoid 函数作为激活函数:sigmoid(x)=11+e−xsigmoid(x)=\frac {1}{1+e^{-原创 2017-08-27 11:03:16 · 375 阅读 · 0 评论 -
支持向量机
支持向量机间隔与支持向量给定训练样本集 D={(x1,y1),(x2,y2),…,(xm,ym)}D=\{ (\boldsymbol x_1, y1), (\boldsymbol x_2, y_2), \ldots, (\boldsymbol x_m, y_m)\} ,yi∈{−1,+1}y_i \in \{-1, +1\},分类学习最基本的想法是基于训练集 DD 在样本空间中找到一个划分超平面,将原创 2017-08-27 10:57:41 · 274 阅读 · 0 评论 -
逻辑回归总结
逻辑回归对于线性边界的情况,边界的形式如下θ0+θ1x1+θ2x2+…+θnxn=∑i=1nθixi \theta_0 +\theta_1x_1 + \theta_2x_2 + \ldots + \theta_nx_n = \sum^n_{i=1}\theta_ix_i 构造预测函数为hθ(x)=g(θTx)=e−θTx1+e−θTx h_\theta(x) = g(\theta^Tx) =原创 2017-08-27 11:02:20 · 286 阅读 · 0 评论 -
决策树总结
决策树决策树学习决策树学习的本质是从训练数据集中归纳出一组分类规则,与训练数据集不相矛盾的决策树。可能有多个,可能一个也没有。决策树学习的损失函数通常是正则化的极大似然函数。决策树学习的策略是以损失函数为目标函数的最小化。当损失函数确定以后,学习问题就变为在损失函数意义下选择最优策略树的问题。但是这是个NP问题,所以现实中通常采用启发式算法,近似求解这一问题。这样得到的树是次最优的。通常是一个递归的原创 2017-08-27 10:53:47 · 325 阅读 · 0 评论 -
核函数的理解
问题的提出一些分类问题,如果对于一些原理上就有缺陷的分类器(对,没错,就是以样本为线性可分为基础所提出的理论推导的分类器)来说,如果样本是线性不可分,那么就麻烦了。原本的理论就不适用了。但是,人们想出了一个办法,把这个问题转化的很巧妙。人们想,是不是可以将原始空间中的点映射到一个更高维度的特征空间上去,使得样本在这个特征空间内线性可分呢?答案是可以的。貌似已经证明了如果原始空间是有限维度的,即属性是原创 2018-03-09 21:48:39 · 1256 阅读 · 0 评论