大数据
文章平均质量分 84
hadoop, map reduce, spark, flink等
lqglqglqg
这个作者很懒,什么都没留下…
展开
-
hadoop2.2.0环境搭建过程(转载修…
注意dfs/name和dfs/data的文件权限,当用root创建改为777时,datanode才启动历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为菜鸟真心被各种折磨,不过当wordcount给出结果的那一刻,兴奋的不得了~~(文当中若有错误之处或疑问欢迎指正,互相学习)PS:转载请注明来源:http://blog.csdn.net/licongcong_0原创 2014-03-07 15:50:50 · 675 阅读 · 0 评论 -
hadoop错误记录(转载)
1、jobtracker启动不正常报错、hdfs无法使用(比如执行一个操作文件命令就报错:onlybe replicated to 0 nodes, instead of 1) 2012-07-2300:00:05,244 WARN org.apache.hadoop.mapred.JobTracker:Retrying... 2 2012-07-23 00:00:05,26原创 2014-03-07 15:51:27 · 880 阅读 · 0 评论 -
大矩阵相乘mapReduce
生成矩阵命令python gernate_matrix.pyimport randomi = 2000;j = 2000;k = 2000 mf = open("file/file1.txt",'w')for r in range(1,i+1): for c inrange(1,j+1): mf.write(str(r)+" "+str(c)+""+str(r原创 2014-03-07 15:51:17 · 647 阅读 · 0 评论 -
hadoop常见错误(转载)
hadoop常见异常错误解决:1.如果在bin/hadoop dfs -put /home/test-in input该过程中出现"can onlybe replicated to node 0, insteadof 1",解决办法是打开http://localhost:50070/dfshealth.jsp查看,确定了livenode数目为你的机器实际数目时,再进行put(原创 2014-03-07 15:51:21 · 3242 阅读 · 0 评论 -
大矩阵相乘-openMP
源代码#include#include "omp.h"#include#include#include#define N 2000int A[N][N],B[N][N];int result_p[N][N];//parallelint result_s[N][N];//serial//矩阵产生函数,通过改变rand函数模值改变矩阵的稠密void generate_mat原创 2014-03-07 15:51:19 · 1367 阅读 · 0 评论 -
分布式搜索引擎设计
https://segmentfault.com/a/1190000005161923提示:本文较长,看完需要时间,如果你想看彩色重点标记版,请移步微信地址:这里1.前言分布式,高可用,和机器学习一样,最近几年被提及得最多的名词,听名字多牛逼,来,我们一步一步来击破前两个名词,今天我们首先来说说分布式。我个人感受啊,分布式和高可用是随着最近这些年阿里的双11活动火起来的,放眼全球,...转载 2018-09-03 22:59:10 · 2952 阅读 · 0 评论