zhuhongde的博客

原创 GBDT理解2.0

参考文献1.GBDT原理与Sklearn源码分析-回归篇2.GBDT原理与Sklearn源码分析-分类篇3.GBDT原理与实践-多分类篇前提：CART可以用于回归和分类，那么到底用回归还是分类呢？我们知道，GBDT拟合的目标是一个梯度值，这个值当然是一个连续值或者说实值，所以在GBDT里，通通都是回归树！！！如果损失函数选的是最小平方损失函数，那么拟合残差就和拟合损失函数的负梯度是等...

原创 机器学习项目总流程

总流程框架：观察大局；获得数据；从数据探索和可视化中获得洞见；机器学习算法的数据准备；选择和训练模型；微调模型；展示解决方案；启动、监控和维护系统；一． 观察大局（相当于前期分析论证）用商业术语定义目标，就是目标具体明确化；明确这里要设计的方案在总体方案中所处的位置，即是哪一环节？当前已经有的解决方案是什么？效果怎么样？问题是什么？我们要设计的方案架构是什么？有/无...

原创 BM、RBM、DBN思路

原创 Leetcode刷题收集

1.s.substr(pos, n)#一种构造string的方法2.unordered_map<char, int> m{{‘I’, 1}, {‘V’, 5}, {‘X’, 10}, {‘L’, 50}, {‘C’, 100}, {‘D’, 500}, {‘M’, 1000}};构造字典3.erase函数#一种删除vector中指定元素的方法4.产生指定范围内的随机数...

原创 【刷题】刷题常用STL函数整理合集

本文归纳总结刷题常用到STL容器以及一些标准算法，主要包括：part1.序列容器stringvectorqueuedequestackpart2.关联容器setmapunordered_map以及这些容器的常用操作：如插入、删除、查找、访问方式（迭代器or下标，C++11关键字auto了解吗？顺序访问or随机访问）、初始化等。一、序列容器常用容器： vector、d...

原创 关于CTR方法的发展过程

https://blog.csdn.net/lilyth_lilyth/article/details/48032119https://blog.csdn.net/lovejay7/article/details/81878537https://blog.csdn.net/muyimo/article/details/82834604https://zhuanlan.zhihu.com/p/...

原创 CTR的模型：FM、FFM和DeepFM的理解

参考文献1.FM系列算法解读（FM+FFM+DeepFM）2.深入FM和FFM原理与实践3.CTR学习笔记系列—— FM 和 FFM4.FM算法及FFM算法5.『我爱机器学习』FM、FFM与DeepFM6.CTR预估算法之FM, FFM, DeepFM及实践前言在计算广告中，CTR是非常重要的一环。对于特征组合来说，业界通用的做法主要有两大类：FM系列和Tree系列。这里我们来介...

转载 【转载】训练集（train)、验证集（validation）和测试集（test）

转载文献地址1转载文献地址2在有监督的机器学习中，经常会说到训练集（train)、验证集（validation）和测试集（test），这三个集合的区分可能会让人糊涂，特别是，有些读者搞不清楚验证集和测试集有什么区别。划分如果我们自己已经有了一个大的标注数据集，想要完成一个有监督模型的测试，那么通常使用均匀随机抽样的方式，将数据集划分为训练集、验证集、测试集，这三个集合不能有交集，常见的比例...

原创 二叉树遍历（前序中序后序递归迭代共6种）

总体把握：层次遍历使用 BFS 实现，利用的就是 BFS 一层一层遍历的特性；而前序、中序、后序遍历利用了 DFS 实现。前序、中序、后序遍只是在对节点访问的顺序有一点不同，其它都相同。1.前序遍历#递归版本void dfs(TreeNode root){ visit(root); dfs(root->left); dfs(root->right);}#迭代...

转载 【转载】GBDT示例

1.GBDT实例介绍2.GBDT一个例子3.GBDT几问

原创 手推收集整理

一.第三章线性模型1.最小二乘法（随机梯度下降法和牛顿法的比较）2.为什么当两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类3.为什么作为分类算法的LDA可以视为降维手段，而且是有监督的，并且与PCA相提并论？因为当LDA推广到多分类问题时，W的闭式解是 Sw-1Sb 的 N-1 个最大广义特征值所对应的特征向量组成的矩阵。若将W视为一个投影矩阵，则多分类LDA将样本投影...