![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
lookjie
test
展开
-
一种垂类作者特征的表示方法
在互联网各大主类的内容平台中,有很多用户专职搬运、或者原创一类视频:有些专供游戏,为游戏用户服务,有些专注食物,教大家做美食、品美食。这些定向产出内容的作者,我们称为垂类作者。一般来讲,一个优质的内容生产者,往往是一个垂类的作者。作为平台的维护和管理者,我们往往需要一种方法来识别一个作者是否是一个垂类作者,对于站外,我们可以邀请这批作者入驻;对于站内,可以为我们挖掘优质作者提供一个有效的特征。这篇文章结合我最近一段时间的工作,阐述我是如何获取YouTube上的垂类作者的。核心目标什么样的作者是垂类作者?原创 2020-08-30 12:43:53 · 1433 阅读 · 0 评论 -
关于聚类类别数k的选择
如何确定聚类的类别个数由适当的阈值确定根据数据点的散布图直观地确定类的个数手肘法,利用核心指标SSE(sum of the squared errors误差平方和)在k增大时下降的斜率来判断,选取下降程度变化由剧烈到平滑的分割点,即肘部SSE=∑i=1k∑p∈Ci∣p−m∣2SSE=\sum_{i=1}^{k}\sum_{p\in C_i}|p-m|^2SSE=i=1∑kp∈Ci∑∣p−m∣2轮廓系数法:轮廓系数(Silhouette Coefficient)结合了聚类的凝聚原创 2020-08-29 22:03:41 · 1907 阅读 · 0 评论 -
lightGBM的Exclusive Feature Bundling
互斥特征绑定(EFB),可以规约到图着色问题。先说图着色问题:图着色问题(Graph Coloring Problem, GCP)又称着色问题,是最著名的NP-完全问题之一。数学定义:给定一个无向图G=(V, E),其中V为顶点集合,E为边集合,图着色问题即为将V分为K个颜色组,每个组形成一个独立集,即其中没有相邻的顶点。独立集:给一无向图,找出一个点集,使得任意两点之间都没有连边,这个点集就是独立集。ps: 点最多的独立集,就是最大独立集。从图着色的问题来看,给定V,将V划分成K个组,对应到互斥特原创 2020-08-29 19:00:38 · 862 阅读 · 1 评论 -
xgboost相关
xgboost多线程预测的不安全问题xgboost的predict_proba官网上说了,predict_proba是一个多线程不安全的方法,主要是因为预测的一个C++代码内部调用的时候有一个PredLoopSpecalize,里面对openmp的thread_temp变量作为类成员变量,在多线程会被当成公共变量修改。说白了就是有预测的内部变量是公共变量。xgboost特征重要性如何获取特征重要性:booster中有三种获取方式:Importance type can be defined as:原创 2020-08-29 16:41:57 · 332 阅读 · 0 评论 -
知识累积
知识累积word2vec原理核心:将词变为向量,来源是网络中每个词的参数方法:hierarchic softmax,negative sample训练:逻辑回归+极大似然文本处理方式:CBOW多对一,Skip-gram一对多参考资料:比较详细的说明:https://www.cnblogs.com/peghoty/p/3857839.html我看这个看懂的:http://www.cnblogs.com/pinard/p/7243513.html源码阅读关于Word2vec的c源码,其原创 2020-08-29 16:41:36 · 221 阅读 · 0 评论 -
腾讯广告算法大赛2020
搭了个架子,有训练和上传代码,baseline 0.8https://github.com/lkjie/txad20原创 2020-05-09 16:55:49 · 3458 阅读 · 3 评论 -
SVD的数学解释,We Recommend a Singular Value Decomposition
http://www.ams.org/samplings/feature-column/fcarc-svd原创 2017-06-28 17:43:20 · 340 阅读 · 0 评论 -
自编码器python实现
自编码器自编码器是一种非常通用的神经网络工具。主要思想是通过一个编码器,将原始信息编码为一组向量,然后通过一个解码器,将向量解码为原始数据。通过衡量输入与输出的差别,来对网络参数进行训练。主要可以用来进行信息压缩。最进在了解GAN方向的应用,发现很多GANs类似与自编码器的思想,在条件GAN中,生成器类似于自编码器中的解码器。都是通过给定一组输入,来得到相应的图片。我比较好奇自编码器产生的编码...原创 2019-04-15 11:53:51 · 6374 阅读 · 10 评论