2018年06月_PKU_Jade

原创策梅洛定理

在二人的有限游戏中，如果双方皆拥有完全的资讯，并且运气因素并不牵涉在游戏中，那先行或后行者当一必有一方有必胜/必不败的策略。定理具体内容：在一个双人游戏中，满足： 0. 双人轮流行动 1. 有限步。比如国际象棋好像重复出现三次相同的棋局判和 2. 信息完备。所谓信息完备，大概是玩家明确知道所有之前的步骤。 3. 仅有3种结局，对于玩家1只有：赢，和，输三种结局当满足上述条件的游...

2018-06-30 17:31:55 2627

原创决策树如何处理缺失数据

决策树或随即森林中位数（数值型）或众数（类别型）使用其他的训练数据的相应特征做加权补充xgboost的方法分叉时先不考虑缺失值，分好之后分别计算把缺失值放到左面和右面的损失，选择小的作为缺失值分类方向。...

2018-06-21 21:18:52 1736

原创梯度的计算与证明

偏导数偏导数就是一个多元函数沿相应坐标轴的变化率的函数。计算：把其他的变量当作常数然后对变量求导即可。方向导数多元函数沿某一个方向变化率的函数。这个方向由一个单位向量(cosα,cosβ,...)(cos⁡α,cos⁡β,...)(\cos\alpha,\cos \beta,...)给出。表示这个单位向量与各个坐标轴的夹角。方向导数就等于偏导数与方向向量的内积，这个...

2018-06-21 19:48:39 6361

原创 MSE和MAE的比较

两种损失函数的性质异常值MSE对异常值敏感，因为它的惩罚是平方的，所以异常值的loss会非常大。 MAE对异常之不敏感，不妨设拟合函数为常数，那么MSE就相当于所有数据的均值（列出loss对c求导即可），而MAE相当于所有数据的中位数，所以会对异常值不敏感。优化效率MAE不可导而且所有的导数的绝对值都相同，优化时无法确定更新速度， MSE可导，有closed-for...

2018-06-20 14:14:09 14549

原创特征选择的方法

特征选择的目的：提高模型的准确率构建更快的模型能够对原来的问题给出解释特征选择的方法：计算每个特征与label的相关性，缺点：无法对发现特征之间的组合后的特征的重要性，例如异或分类对每个特征单独训练模型，和1差不多使用L1正则项进行特征选择使用permutation特征选择，例如在RF中可以很方便的计算从空集开始每次对未被选择的特征进行遍历尝试加入，每次加入提升最多的...

2018-06-19 13:54:31 374

原创卷积神经网络

全连接的缺点：随着图片的增大参数量迅速增长O(n2)O(n2)O(n^2) 2.而且很多参数都是没什么用的，两个距离非常远的像素点相互其实没有什么关联，不需要把它们放在一起做乘加卷积层使用步长为一的原因：尽量在卷积层不丢失信息，只负责数据的变换，而降采样只由pooling层负责，使得这两个层之间是orthogonal，方便调参。内存和计算时间大部分在卷积层（反向传播是需要使用...

2018-06-19 13:16:32 231

原创二叉树的非递归遍历

前序遍历把栈中的每一个节点都当作是一棵完整的二叉树，每次pop出一个节点，访问，然后把右左两棵子树入栈。中序遍历把栈中的每一个节点当作是只有右子树的二叉树，这就需要每次入栈时处理好它的左子树，一路向左把所有的节点入栈，然后出栈，访问，然后把这个节点的右子树当作是二叉树按同样的方法处理（一路向左）后序遍历后序遍历的关键就在于如何判断一个节点是应该遍历它的两棵子树还是它自己，后...

2018-06-18 20:38:20 229

原创 99杯水，1杯毒药，毒药发作时间为一天，两天时间，最少使用多少只小鼠才能确定哪一杯是毒药？

因为一共有两天时间，所以小鼠有三种状态：死活死活活那么n只小鼠一个就有3n3n3^n个状态，所以n的最小值为5.具体操作：把0-99号杯子转化为3进制，0表示不喝，1表示0时刻喝，2表示1时刻喝。小鼠的状态：死对应1，活死对应2，活活对应0，然后把小鼠的状态转化为10进制则为有毒药的杯子号。扩展：如果把条件变成98杯水和2杯毒药，最少需要多少只小鼠？...

2018-06-15 10:44:45 6052

qishi的博客