DM
sigmoidguo
acmer, tencenter
展开
-
SVD的理解
SVD:singular valuedecomposition 奇异值分解本文总结自网络,详情见最后的参考链接:奇异值分解可以实现降维的作用,例如讲A分成X*B*Y三部分: 如图所示,A元素个数是100万乘以50万,总共5千亿。而存储X,B,Y三个矩阵只需要1.5个亿个元素,是原来的三千分之一,相应的存储量和计算量都小了三个数量级。 假设M是n*n的奇原创 2014-02-21 10:45:12 · 4094 阅读 · 1 评论 -
reduce 两遍
可以通过cache的方式达到reduce运行两次,但是cache有没有爆的可能呢?或者说,hadoop shuffle完了以后,会不会给每台机器分配内存容量内的数据呢?原创 2014-12-19 20:56:03 · 497 阅读 · 0 评论 -
欢迎使用CSDN-markdown编辑器
对偶问题在SVM中有一个对偶的变换,在使用核函数的时候,需要用到其来简化算法。现把它列出来,感觉理解起来比较好玩。这个maxmin和minmax是对偶问题,现在形象解释下≤号的原因。 假如说, 假如有n个国家,L表示国家中人的高度,那么, maxmin表示所有国家的最矮的人里面最高的那个人的高度; minmax表示所有国家的最高的人里面最矮的高度。 显然,maxmi原创 2015-12-22 20:39:42 · 544 阅读 · 0 评论 -
数据抽样
数据抽样,每隔100行抽取一行: awk ‘{if(NR%100 ==1) print $0}’ msg > target_file原创 2016-05-30 11:13:59 · 463 阅读 · 0 评论 -
欢迎使用CSDN-markdown编辑器
今天听猪哥讲了ctr预估的auc计算部分,一个有趣的公式: –公式1 查了查(参考1)是和Wilcoxon-Mann-Witney Test有关,即auc=“测试任意给一个正类样本和一个负类样本,正类样本的score有多大的概率大于负类样本的score”,终于找到了auc的物理意义,不再是在tpr和fpr的曲线下徘徊。 按照上面的理论具体的auc的计算,可以参考上面给的公式原创 2016-04-23 02:52:18 · 422 阅读 · 0 评论 -
shell运行输出运行记录
sh -x 可以输出运行记录,很方便。原创 2016-06-20 18:59:02 · 972 阅读 · 0 评论