- 博客(9)
- 收藏
- 关注
RSS订阅原创 Parameter Server论文阅读笔记《Scaling Distributed Machine Learning with the Parameter Server》
工作一直在使用分布式的机器学习框架，有必要了解一些基本的原理，就先从李沐大佬的文章入手，写个笔记作为记录。主要贡献第三代开源的Parameter Server架构，具有以下特性1）高效的通信2）灵活的一致性模型3）弹性可拓展能力4）系统容错能力5）易用性工程挑战通信：访问巨量的参数，需要大量的网络带宽支持。容错：分布式计算需要较好的容错能力，failover机制。相关工作第一代的参数服务器架构VLDB 2010，灵活性和性能都比较欠缺，使用memcached存储作为同步机制。Ya
2022-01-14 17:11:18
677
原创 当BatchNormalize遇到异常值，导致预测结果都是NaN
问题背景最近使用DNN模型来做排序，发现近几天的NDCG离线指标下跌得很厉害。于是下载模型自己在本地评测了一下，预测结果都是NaN，于是把各层的模型参数以及各层的输出都打印出来，发现BatchNormalize中的moving_variance（方差）的某一维是NaN，最后一查果然是这一维特征异常了。为了把事情弄清楚，写这个blog记录一下。BatchNormalize（BN）基础知识BN的提出是为了解决神经网络中Internal Covariate Shift的问题，Internal Covaria
2020-06-01 22:32:27
2105
原创 导数、微分与梯度的简单复习
作为一个学渣，对于导数、微分以及梯度概念及本质理解得模棱两可，这里做一个简单的复习。导数（Derivative）什么是导数？导数描述函数在某一个点附近函数值对于自变量的变化率。定义：当自变量x0在上产生一个增量Δx\Delta xΔx,函数值的增量Δy\Delta yΔy与自变量的增量Δx\Delta xΔx的比值在Δx\Delta xΔx趋近于0时的比值的极限存在，该极限即为函数在x0上的导数。什么时候我们会使用导数？1）求最大最小值，如机器学习中的最小化loss2）描述变化趋势
2020-05-10 23:50:43
527
原创 样本缺失处理导致xgboost4j-spark生成模型在线上预测出现的问题追查
提纲问题发现问题追查问题产生原因问题总结啊啊啊，被迫重新营业，最近决定把遇到的一些问题及解决方案放到CSDN上，做简单的记录，至于系统性的知识还是自己搭个博客吧~问题发现为了使用样本权重，最近将xgboost4j-spark升级到0.9版本，跑了个模型auc看起来还行，生成的模型放到线上，效果惨不忍睹。不应该啊，于是对比了下线上和线下的打分没有一致，线下用的是xgboost4j-spark的...
2020-03-14 22:51:27
794
原创 将博客搬至CSDN
<div class="iteye-blog-content-contain" style="font-size: 14px"></div>
2015-07-31 17:12:35
72
数据结构找你妹（一）从二叉树到红黑树的分析实现
什么是查找？ 好了，我们今天的主题是——找你妹。或许应该把话题提升到一个不那么“好听”的层次——查找。但还是从“好听”的讲起吧，我们应该都玩过“找你妹”这个游戏，规则很简单，通过对一个物品描述的词语，在屏幕中寻找相应的物品，点击到对应的物品查找成功，一定时间内查找到的物品越多分数越高，即查找时间越短越好。为了能准确的查找，每一样东西都要有一个唯一的标识，我们称之为关键...
2014-05-12 18:33:24
550
读懂BMP，用BMP来表达
如果有个伪文青问你：“你能读懂这个世界吗？”作为技术男的你就要很淡定的说：“只要把它的协议给我，就有办法读懂它。”读，就是对信息的分析解释理解。世界是复杂的，可对于信息的有效传递，我认为，可以简单的概括为“理解——表达”的模式，而连接理解和表达的逻辑桥梁就是规则、协议。虽然是技术男，但你是不是也经常因为不理解心爱的人的心思而犯愁，她/他想要苹果，你却认为她/他想要的是香蕉，唉，没办...
2013-07-17 21:03:20
165
基本数据结构——数组、队列、链表
数组是一个对象，是命名的同类型变量的集合。形象的说，数组就是由一个个格子组成，在格子中可以装东西，而这些东西就是数据，一个数组中要求这些数据是同类型的。数组简单地说就是一个可以储存数据的容器。在编程中经常会用到这样的容器，比如画图板图形的重绘，以及在五子棋游戏开发中用到的数组储存棋子的位置和颜色参数等等。数组的声明和定义比较简单，就不在赘述，但要注意当定义引用数据类型的数组，并要向...
2013-04-24 19:54:33
116
原创 类和对象
类和对象总结：一、1.对象的定义：一个具体的物体或事物，即万事万物皆对象。 2.对象的组成：特征和行为。 例：HelloKitty的那一台电脑就是一个对象，这台的品牌，硬件参数就是对象的特征开机关机就是它的行为二、1.类的定义： 生活中的类指根据相似的特征和相似行为的对象的归类。 程序中的类由属性和方法组成。三、类和对象在程序中的格...
2013-03-20 21:06:55
98
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人