2018年07月_PKU_Jade

原创为什么深度学习不使用牛顿法或拟牛顿法优化

Hessian矩阵是n∗nn∗nn*n的所以空间复杂度会很高f(xk+1)=f(xk)−1/2gTH−1gf(xk+1)=f(xk)−1/2gTH−1gf(x_{k+1}) = f(x_k)-1/2g^TH^{-1}g，所以当f是convex时，牛顿法迭代目标函数一定会下降，但是深度学习是non-convex，所以牛顿法并不是太适用。...

2018-07-10 22:25:27 2712

原创牛顿法

求凸函数的最小值不过就是找出导函数的零点，所以就是对导函数使用牛顿法迭代计算零点。牛顿法是对目标函数的二阶泰勒展开，也就相当于导函数的一阶泰勒展开。...

2018-07-09 21:55:03 476

原创残差结构的理解

首先我们想一下为什么深度学习的效果很好？我认为最大的原因就是它可以很轻易的实现非常高复杂度的模型，而在传统上想要实现高复杂度并不是很简单的。传统方法：特征变换（其实手段也很有限，因为实用的核函数种类很少）非线性模型，也决策树为代表的一些模型，adaboost，gbdt，rf等。这些模型想要提升复杂度的话总是有一些受限，而深度学习则不存在这个问题，如果Ein,EoutEin,E...

2018-07-09 15:34:50 8990

原创 focal loss

原文 https://blog.csdn.net/u014380165/article/details/77019084focal 解决的是两个问题：样本不均衡专注于难以分类的样本传统的交叉熵损失：CE=−logptCE=−log⁡ptCE=-\log p_t 其中ptptp_t为模型对正确的类别所预测的概率。FL=−αt(1−pt)γlogptFL=−αt(1−pt)γlo...

2018-07-04 17:36:27 2956

原创 MCMC采样方法

马氏链定理如果满足非周期，任意两个状态之间可达则此马氏链收敛于一个平稳分布。非周期：只有当n=d，2d，3d，…时，有p(n)ij>0 ，则状态i为周期性的状态，周期为d。当马尔可夫链中任意一个状态都为周期性的状态时，则称马尔可夫链是周期的。可达的：可从有向图的角度理解。细致平稳条件...

2018-07-04 17:15:30 1010

原创顺序统计量

XXX服从[0,1]上的均匀分布，对X进行5次独立采样，求最大的样本的分布。计算x为最大的样本的概率，首先它要在某一次被取到（一个有5次机会），其次其他4个样本都比x要小，所以fmax(x)=5f(x)F4(x)=5x4fmax(x)=5f(x)F4(x)=5x4f_{max}(x) = 5f(x)F^4(x)=5x^4。次序量k取其他值时情况类似，都是计算n*两个独立事件（1. x被取到...

2018-07-02 22:26:11 3843

转载静态存储区，动态存储区和堆以及栈的关系

所谓静态，就是一定会存在的而且会永恒存在、不会消失，这样的数据包括常量、常变量（const 变量）、静态变量、全局变量等，它们都存储在静态存储区。动态的话，就是会变化的了。动态的区域，就是堆和栈。这个栈应该称作 call stack，上面会存放函数的返回地址、参数和局部变量。而堆放就是我们通过 new 算符和 malloc 函数分配得到的空间，这些都是手动获得的空间，也需要手动的释放。ht...

2018-07-02 09:59:44 1344

原创 static变量的作用域和生存周期，static关键字

静态局部变量、静态全局变量生存周期: 变量从定义到销毁的时间范围，也就是可以访问的时间段。存放在全局数据区的变量的生存周期存在于整个程序运行期间，而存放在栈中的数据则随着函数等的作用域结束导致出栈而销毁，除了静态变量之外的局部变量都存放于栈中。作用域: 变量的可见代码域（块作用域，函数作用域，类作用域，程序全局作用域）。所有的静态变量的生存周期都是从程序开始到结束的。静态变量可分为...

2018-07-02 09:55:25 2301

qishi的博客