统计学
文章平均质量分 65
你看起来很好吃
这个作者很懒,什么都没留下…
展开
-
牛顿法和拟牛顿法
求解无约束最优化问题的常用方法,收敛速度快。 牛顿法: 迭代算法,每一步需要求解目标函数的海赛矩阵的逆矩阵,计算比较复杂。 1、目标函数的二级泰勒展开,及极小值的必要条件(一阶导数为0),可以求出每一步迭代值的步长: 其中,Hk为海赛矩阵,gk为一阶导数在xk处的值。 2、算法流程: 3、每一步迭代都是下降方向。 证明:转载 2016-09-19 11:37:51 · 268 阅读 · 0 评论 -
过拟合问题
问题描述: 如果我们有非常多的特征,我们通过学习得到的假设可能能够非常好地适应训练集(损失函数可能几乎为 0),但是可能会不能推广到新的数据。 回归问题 : 过拟合问题 > image2016-7-17 17:26:8.png" src="http://wiki.sankuai.com/download/attachments/551391419/image2016-7-1转载 2016-09-19 11:38:27 · 301 阅读 · 0 评论 -
统计学习方法-读书笔记
--李航 著 统计学习包括:监督学习、非监督学习、半监督学习、强化学习等。 监督学习: 利用训练数据集(人工给出输出变量)学习一个模型(目标:训练样本输出与模型输出的误差足够小),再用模型对测试样本集进行预测。 第二章:感知机 感知机是二分类的线性分类模型。分为原始形式和对偶形式。1957年提出,是神经网络和支持向量机的基础。原创 2016-09-19 11:40:11 · 631 阅读 · 0 评论 -
最大似然估计方法
起因:我发现LR在知道样本概率分布后,要估计w的值,用到了极大似然估计方法,得到了所谓的损失函数。 所以想了解下 极大似然估计的原理。 最大似然估计方法,是基于总体分布已知情况下的一种参数估计方法。 其基于极大似然估计原理:概率大的事件易发生;在一次观测中发生了的事件,其概率应该大。 例子:你和猎人都去打猎,枪响了,兔子倒下了,你觉得这个兔子是被谁打死的? 你会觉得是猎人,因为他原创 2017-02-27 23:02:07 · 946 阅读 · 0 评论 -
最优化算法
http://spark.apache.org/docs/1.6.3/mllib-optimization.html Mathematical description Gradient descentStochastic gradient descent (SGD)Update schemes for distributed SGDLimited-memory BF原创 2017-02-19 20:36:15 · 365 阅读 · 0 评论 -
数据的统计分析
数据预处理之后,我们要做一些统计分析,来观察我们的数据,这其中包括 描述性分析、统计推断。 描述性分析: 主要是统计指标、图表。 1、集中趋势分析 除了分位数,我们还可以结合 中位数、众数、平均数三者的关系。具体地: 众数在中位数左侧,平均数在中位数右侧,则此时数据呈正偏态分布,又叫右偏,存在极大异常值。是不是可以考虑删除或替换为平均值 众数在中位数右侧,平均数在左侧,数据呈负原创 2017-03-05 11:38:37 · 994 阅读 · 0 评论