2018年03月_蕉叉熵

原创 2018年360春招笔试题

奇虎360 2018年春招笔试题（3月31日）题目一题目描述茉莉有一个画板，画板可以抽象成100行每行100个像素点的正方形。茉莉在画板上画画，一共画了n次，每次将一个矩形涂上颜色。茉莉想知道一共有多少个像素点被她涂过颜色。若一个像素点被涂了k次，那么认为有k个像素点被涂过颜色。输入每一行一个数T（T<=100），表示数据组数。对于每组数据，第一行一个...

2018-03-31 21:26:53 7475 5

原创拟牛顿法（DFP、BFGS、L-BFGS）

拟牛顿法一、牛顿法1.1 基本介绍牛顿法属于利用一阶和二阶导数的无约束目标最优化方法。基本思想是，在每一次迭代中，以牛顿方向为搜索方向进行更新。牛顿法对目标的可导性更严格，要求二阶可导，有Hesse矩阵求逆的计算复杂的缺点。XGBoost本质上就是利用牛顿法进行优化的。1.2 基本原理现在推导牛顿法。假设无约束最优化问题是 minxf(x)minxf(x)\m...

2018-03-24 23:53:43 69162 19

原创数理统计之卡方检验

数理统计之卡方检验简介卡方分布是与正态分布紧密联系的分布，它能做的事情很多，本文介绍了以下三方面：单个正态总体的方差检验样本总体的分布拟合检验两个总体之间的相关性（独立性）检验一、卡方分布【定义】设随机变量 ξ1,ξ2,⋯,ξnξ1,ξ2,⋯,ξn\xi_1,\xi_2,\cdots,\xi_n 独立同分布，且 ξi∼N(0,1)ξi∼N(0,1)\xi_...

2018-03-24 14:20:53 10061 1

原创因子分解机（libffm+xlearn）

因子分解机一、简介在CTR和CVR预估任务中，可能有大量的ID类特征（Categorical Feature），一般来说并不适合直接送入树模型（xgboost完全不支持，lightgbm只根据取值不同），一种常用的做法是通过Label Encoding变成离散的稀疏的高维向量（最具代表的是Onehot独热编码），然后送入LR训练。在独热编码的作用下，产生了多项式模型参数学习困难的问...

2018-03-23 12:04:44 13072 8

原创阿里天池（蚂蚁金服）商场中精确定位用户所在店铺经验分享

阿里天池（蚂蚁金服）商场中精确定位用户所在店铺经验分享一、简介我在2017年10月至12月参加该比赛，最终排名是 42/2845。写本文的目的，其一是总结与记录本次比赛的实现，其二是反省自身，因为我觉得自己对待比赛的态度有点消极，在连续很多天没有新进展的情况下，逐渐进入了弃疗的状态，尤其是后期乏力，没有竭尽全力，这绝对是不应该的，既然决定了参加比赛就应该有始有终。写下此文，以作警示。...

2018-03-22 11:38:40 3249 5

原创华为2018春招笔试题

华为2018春招笔试（3月21日）题目一最长数字字符串给定一个字符串，输出字符串中最长的数字串，并把这个数字串的长度输出。请一个在字符串中找出连续最长的数字串，并把这个串的长度返回；如果存在长度相同的连续数字串，返回最后一个连续数字串；注意：数字串只需要是数字组成的就可以，并不要求顺序，比如数字串“1234”的长度就小于数字串“1359055”，如果没有数字，则返回空...

2018-03-21 23:32:04 12932

原创第一届腾讯社交广告高校算法大赛经验分享

第一届腾讯社交广告高校算法大赛经验分享一、简介去年的5月，我和两个队友参加了《第一届腾讯社交广告高校算法大赛》，在那之前我们实际上完全没有相关的竞赛经验，三个毫无经验的菜鸟暴力提取特征，凭借训练神经网络的经验玄学调参，竟然也获得了还不错的成绩，最终初赛 10/1000，决赛 39/1000，第一次比赛分工比较混乱，每个人都参与了特征工程和模型调参。初赛和决赛都是线下赛，即用自己的机...

2018-03-21 15:00:15 10610 2

原创 Logistic Regression (LR) 详解

Logistic Regression (LR) 详解最近忙着准备面试，偶然发现同学Q君在很认真地看LR（Logistics Regression），不由得心生蔑视，这么简单的模型有什么好研究的？结果Q君扔出几个问题给我，一时竟回答不出，殊不知LR也有那么深的学问，本不想深究，直到我看到了这个：LR跟最大熵模型还有关系的吗？LR比线性回归好不是理所当然吗？LR还能并行？看完这些问题，一...

2018-03-21 12:58:18 9279 2

原创各类优化方法总结（从SGD到FTRL）

目录目录各类优化方法总结1. SGD2. Momentum3. Nesterov4. Adagrad5. Adadelta6. Adam7. FTRL参考资料各类优化方法总结为了方便描述，假设第ttt轮要更新的某参数是wtwtw_t，losslossloss函数关于wtwtw_t的偏导数表示为gtgtg_t，即： gt=∂L∂wtgt=∂L∂wtg...

2018-03-20 22:30:36 7147

原创第二届阿里云安全算法挑战赛经验分享

第二届阿里云安全算法挑战赛经验分享一、简介我在2017年8月参加了这个比赛，比赛分两道子赛题，我和队友分别负责其中一道，我负责的是《扫描爆破拦截》，单题排名5/959，两题综合12/959。原本应该在比赛完就写博客记录的，但事情太多以至于拖延到了现在，找实习的时候翻回从前比赛时期零碎的笔记，才想起来自己原来做过这么些事情，经历过这样的一些思考，还发现了一些纰漏和可以改进的地方。现在重写...

2018-03-20 16:19:30 3242

原创 GBDT原理及实现（XGBoost+LightGBM）

GBDT原理及实现（XGBoost+LightGBM）GBDT原理及实现（XGBoost+LightGBM）一、准备知识1.1 泰勒展开1.2 梯度下降法1.3 牛顿法1.4 CART树1.4.1 CART回归树A. 单元最优输出B. 分裂策略C. CART回归树生成步骤1.4.2 CART分类树A. 基尼指数B. CART分类树生成步骤1.5 Boo...

2018-03-05 23:27:11 4780 3

原创蒙特卡罗树搜索

蒙特卡罗树搜索AlphaGo火极一时，最近还出了新版本AlphaGo Zero，而我甚至对原版的AlphaGo v13还不甚了解。在查阅了一些博客、论文和代码之后，大致了解了AlphaGo的基本组成，蒙特卡罗树搜索MCST正是最核心的框架，它连接了AlphaGo的其他组件，构成了完整的系统。本篇是我对MCST的一些理解，当然包含部分搬运，旨在记录和总结备用。蒙特卡罗树搜索数据结构首先，顾名...

2018-03-05 16:08:17 1837

songbinxu的博客