- 博客(5)
- 收藏
- 关注
RSS订阅原创 c++ 学习总结
1、出现segmentation default的原因：这个内存区要么是不存在的，要么是受到系统保护的。 例如：char *p=null,之后直接使用p而并没有进行malloc，就会出现这种错误
2013-07-30 10:12:53
2545
原创 linux、Hadoop相关的常用东西总结
总结一下最近的工作，如下，且会不断更新： 1、下载软件SecureCRT或者putty（or pietty），可用来在windows远程登录（ssh1、ssh2）到linux服务器。 SecureCRT和pietty各有优缺点，体会了下，总结以下几点： 1）pietty安装使用直接方便，不怎么需要配置，直接拿来用即可，且默认设置挺漂亮。而SecureCRT安装后根据使用习惯需要设置字
2013-07-23 21:40:34
2884
原创 大规模数据相似度计算时，解决数据倾斜的问题的思路之一（分块思想）
现有user、item矩阵，如何计算两两用户的相似度呢？最直接的方法就是夹角余弦，计算用户向量之间的cos值，来度量相似度。因为实际问题中，矩阵通常是很稀疏的，所以真正实现cos计算相似度计算的时候，为了减少计算量，采用的的是倒排索引的数据结构。即： 虽然采用的倒排的结构，但是用户量和item量很大，且有些item对应的用户量很大的时候，就会出现严重的数据倾斜问题。以MapReduce实
2013-07-08 17:33:28
12654
3
原创 MPI学习笔记（1）
今天开始学习写MPI，基本过程： 1）配置mpi环境 2）拿一小段MPI代码试验，来自：http://blog.csdn.net/zhuliting/article/details/5868425 #include #include #include "mpi.h" int main(int argc,char *argv[]) { int i,j,k,n,myid,numpro
2013-07-01 16:09:10
2924
原创 BSP编程模型（以NMF为例，试验基于消息传递的模型BSP过程）
对于需要迭代计算的算法，MapReduce显然不可用，迭代n次的IO量太大，而基于消息的传递模型，BSP和MPI的优势就出来了。BSP的编程模型，试验过了，确实容易入门，只要将求解问题（例如，优化问题、图的最短路径问题等等）抽象成图模型（顶点Vertex、边Edge）后，再通过消息Message，来不断迭代求解即可。拿前面有篇文章，NMF的矩阵分解这个优化问题，来实验： 1）NMF的矩阵分解基本
2013-07-01 15:33:35
4754
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人