自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 收藏
  • 关注

原创 Parameter Server论文阅读笔记《Scaling Distributed Machine Learning with the Parameter Server》

工作一直在使用分布式的机器学习框架,有必要了解一些基本的原理,就先从李沐大佬的文章入手,写个笔记作为记录。主要贡献第三代开源的Parameter Server架构,具有以下特性1)高效的通信2)灵活的一致性模型3)弹性可拓展能力4)系统容错能力5)易用性工程挑战通信:访问巨量的参数,需要大量的网络带宽支持。容错:分布式计算需要较好的容错能力,failover机制。相关工作第一代的参数服务器架构VLDB 2010,灵活性和性能都比较欠缺,使用memcached存储作为同步机制。Ya

2022-01-14 17:11:18 675

原创 当BatchNormalize遇到异常值,导致预测结果都是NaN

问题背景最近使用DNN模型来做排序,发现近几天的NDCG离线指标下跌得很厉害。于是下载模型自己在本地评测了一下,预测结果都是NaN,于是把各层的模型参数以及各层的输出都打印出来,发现BatchNormalize中的moving_variance(方差)的某一维是NaN,最后一查果然是这一维特征异常了。为了把事情弄清楚,写这个blog记录一下。BatchNormalize(BN)基础知识BN的提出是为了解决神经网络中Internal Covariate Shift的问题,Internal Covaria

2020-06-01 22:32:27 2093

原创 导数、微分与梯度的简单复习

作为一个学渣,对于导数、微分以及梯度概念及本质理解得模棱两可,这里做一个简单的复习。导数(Derivative)什么是导数?导数描述函数在某一个点附近函数值对于自变量的变化率。定义:当自变量x0在上产生一个增量Δx\Delta xΔx,函数值的增量Δy\Delta yΔy与自变量的增量Δx\Delta xΔx的比值在Δx\Delta xΔx趋近于0时的比值的极限存在,该极限即为函数在x0上的导数。什么时候我们会使用导数?1)求最大最小值,如机器学习中的最小化loss2)描述变化趋势

2020-05-10 23:50:43 525

原创 样本缺失处理导致xgboost4j-spark生成模型在线上预测出现的问题追查

提纲问题发现问题追查问题产生原因问题总结啊啊啊,被迫重新营业,最近决定把遇到的一些问题及解决方案放到CSDN上,做简单的记录,至于系统性的知识还是自己搭个博客吧~问题发现为了使用样本权重,最近将xgboost4j-spark升级到0.9版本,跑了个模型auc看起来还行,生成的模型放到线上,效果惨不忍睹。不应该啊,于是对比了下线上和线下的打分没有一致,线下用的是xgboost4j-spark的...

2020-03-14 22:51:27 794

原创 将博客搬至CSDN

<div class="iteye-blog-content-contain" style="font-size: 14px"></div> 

2015-07-31 17:12:35 72

数据结构找你妹(一)从二叉树到红黑树的分析实现

 什么是查找?        好了,我们今天的主题是——找你妹。或许应该把话题提升到一个不那么“好听”的层次——查找。但还是从“好听”的讲起吧,我们应该都玩过“找你妹”这个游戏,规则很简单,通过对一个物品描述的词语,在屏幕中寻找相应的物品,点击到对应的物品查找成功,一定时间内查找到的物品越多分数越高,即查找时间越短越好。为了能准确的查找,每一样东西都要有一个唯一的标识,我们称之为关键...

2014-05-12 18:33:24 547

读懂BMP,用BMP来表达

       如果有个伪文青问你:“你能读懂这个世界吗?”作为技术男的你就要很淡定的说:“只要把它的协议给我,就有办法读懂它。”读,就是对信息的分析解释理解。世界是复杂的,可对于信息的有效传递,我认为,可以简单的概括为“理解——表达”的模式,而连接理解和表达的逻辑桥梁就是规则、协议。虽然是技术男,但你是不是也经常因为不理解心爱的人的心思而犯愁,她/他想要苹果,你却认为她/他想要的是香蕉,唉,没办...

2013-07-17 21:03:20 165

基本数据结构——数组、队列、链表

      数组是一个对象,是命名的同类型变量的集合。形象的说,数组就是由一个个格子组成,在格子中可以装东西,而这些东西就是数据,一个数组中要求这些数据是同类型的。数组简单地说就是一个可以储存数据的容器。在编程中经常会用到这样的容器,比如画图板图形的重绘,以及在五子棋游戏开发中用到的数组储存棋子的位置和颜色参数等等。数组的声明和定义比较简单,就不在赘述,但要注意当定义引用数据类型的数组,并要向...

2013-04-24 19:54:33 116

原创 类和对象

  类和对象总结:一、1.对象的定义:一个具体的物体或事物,即万事万物皆对象。    2.对象的组成:特征和行为。    例:HelloKitty的那一台电脑就是一个对象,这台的品牌,硬件参数就是对象的特征开机关机就是它的行为二、1.类的定义:    生活中的类指根据相似的特征和相似行为的对象的归类。    程序中的类由属性和方法组成。三、类和对象在程序中的格...

2013-03-20 21:06:55 98

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除