ningyanggege的博客

转载 VC维的理解

原创 面试中的投资组合方差计算

转载 MSE与MAE的区别与如何选择

mark下，讲得非常好   http://rishy.github.io/ml/2015/07/28/l1-vs-l2-loss/    参考：https://baijiahao.baidu.com/s?id=1603857666277651546&wfr=spider&for=pc 

原创 梯度下降中的学习率的作用

如图所示： 如果不用学习率或者说学习率为1，使用负梯度，即最速下降法，永远无法下降到最优值即0点处；作一次梯度下降，就移动相对称的点上；来来回回走；...

原创 时间序列的异常值处理

问题描述：开盘价的日收益率出现了异常值，9000多倍，什么原因导致？答案：如图所示：由于开盘价出现了异常，价格为0.01；导致以此价格为基础计算的相关指标均异常；如果要还原真值，如果用均值与中位数均不合理，个人有两个方案还原，方案一、前后的值取中间值，即前一个开盘价格与后一个开盘价格的均值；方案二、由于开盘价与收盘价相关性非常强，且正相关，补值的价格=当日收盘价格/昨日收盘价*昨日开盘价...

转载 kaggle竞赛--房价预测详细解读

## Kaggle竞赛 —— 房价预测 (House Prices)#### 完整代码见[kaggle kernel](https://www.kaggle.com/massquantity/all-you-need-is-pca-lb-0-11421-top-4) 或 [Github](https://github.com/massquantity/Kaggle-HousePrices)...

转载 kaggle较好的竞赛经验

【干货】Kaggle 数据挖掘比赛经验分享 (转载)标签： 数据挖掘数据科学家机器学习kaggle2017-05-21 19:25 99人阅读 评论(0) 收藏 举报本文章已收录于：分类：算法学习作者简介 Kaggle 于 2010 年创立，专注数据科学，机器学习竞赛的举办，是全球最大的数据科学社区和数据竞赛平台。笔者从 2013 年开始，陆续参加了多场 Kagg...

原创 garch模型-面试

1、garch模型的基本假设？     答：garch模型本质上是为时间序列的波动率而建模的，是对时间序列增加一个动态方程，来刻画资产收益率的条件异方差随时间的演变规律；基本假设是扰动项是不存在序列（历史数据）相关性，但是不独立的，扰动项可以用其平方项来描述；2、garch模型输出什么？     答：单独的garch模型输出当期的扰动项的值；3、条件异方差性的中异代表什么？  ...

原创 gbdt如何处理多分类问题(multiclass，cart)

本人理解：多分类变成多个二分类，比如说当前类别A，训练集的标签为属于A的为1，其他为0，该值为连续值（概率），基于这所有的样本生成一棵树；结果为对类别A的预测值f(x)；然后B标签，C标签同理可得；然后通过softmax层处理下得到属于各个类别的概率值；这里每一轮迭代都会和类别数目相同的树；每一棵树针对一个类别进行学习并输出对应的分数，然后就n个类别的分数，经过softmax层变成概率...

原创 gbdt学习率调参

问题：如果你的梯度集成模型过拟合了，此时应该是增加学习率还是减少学习率？在梯度提升模型中，学习率本质上是误分类样本的权重；如果要减少过拟合，就要减少对错误分类的关注；此处使用极限思维，学习率为0，那么就只有一棵树，错误分类的实例均不考虑；输出验证集与训练集的结果：改变学习率：输出结果：如下所示：降低了学习率，减少了过拟合，泛化性能提升...

原创 lr与svm如何选择-面试

我当时的回答：如果要求不仅仅是类别，输出概率水平大小，要选用lr；因为svm只输出类别；网上总结异同：svm是结构风险最小化的函数，因为自带L2正则函数；svm中取决于支持向量，所以与数据分布无关，而且计算依赖于距离公式，所以标准化很重要； lr的决策 平面取决于所有的数据，所以依赖于数据分布，由于是概率公式，所以可以不需要标准化；  ...

原创 lstm解决梯度消失

本人认为：lstm只能缓解梯度消失，并不能完全解决；因为最新的状态单元可以是过去的一个线性组合，过去的信息传递到现在主要是由每个时间步的遗忘门参数连乘决定的；而rnn是过去时间序列的一个连乘；由参数w与tanh激活函数的导数值连乘而得到的；   ...

原创 tensorflow 实现 logistic regression

import numpy as npimport matplotlib.pyplot as pltimport tensorflow as tf#prepare datadataX=np.random.randn(1000,15)dataY=np.random.randint(0,2,1000).reshape(1000,1)X=tf.placeholder(tf.float32,s...

转载 最大熵模型的理解

个人理解：最大熵模型的本质就是对未知的东西进行均分；           

转载 L1相对于L2较稀疏的原因

原创 自己对ols推导

最终的结果跟假设息息相关，比如说x是列向量还是行向量，最终的X是什么维度，Y是什么维度都会影响最终的表现形式；但万变不离其宗，掌握本质其他一切都是外在表现形式不同而已； 为了以后计算简单方便，我自己设定以后 统一用列向量；...