云计算
文章平均质量分 93
yylsamcyyl
这个作者很懒,什么都没留下…
展开
-
hadoop的初步理解
1:hadoop到底是什么呢, 他是一个解决方案,是一个能够处理大数据量的的分布式处理的解决方案,他是google的模仿衍生产品。 它是利用了google发表的Mapreduce论文编写变成模型和框架。 他主要是把大的任务分割小的任务,并把这些小的任务交给集群上的单点执行。 什么叫做Job呢,在MapReduce中,一个准备提交执行的应用程序叫做:job(...2013-03-06 23:46:53 · 87 阅读 · 0 评论 -
在Hadoop上运行SQL:程序员需知晓的13种数据工具
HiveHadoopSQL开源MapReduceImpala大数据初创公司 对SQL支持并不是Hadoop最核心的技术理念,但这一特性确实能帮助很多传统企业,尤其是已经明白下一代分析的重要性但又不想迈向MapReduce的企业,迅速走向大数据分析。为此,本文特别列举了13种从Hadoop内部可以运行SQL查询的,高水... 摘要:对SQL支持并不是Hadoop最核心的技术...原创 2013-03-10 00:16:11 · 90 阅读 · 0 评论 -
学习hadoop 出现的问题,以及解决方案
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。 修改办法: 修改2个文件。 /etc/security/limits.conf vi /etc...原创 2013-03-12 08:22:38 · 225 阅读 · 0 评论 -
从Hadoop框架与MapReduce模式中谈海量数据处理(含淘宝技术架构)
从hadoop框架与MapReduce模式中谈海量数据处理 前言 几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,觉得Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到了一个我更加感兴趣的话题:海量数据处理。 由此,最近凡是...原创 2013-03-17 16:45:08 · 137 阅读 · 0 评论