Hadoop
文章平均质量分 89
dufman
学而不思等于白学,重点在于思
展开
-
hadoop学习(二)ubuntu下安装virtual box 问题与解决
在官网下载virtual box linux版本。我选择的是32位的系统。http://download.virtualbox.org/virtualbox/4.3.6/virtualbox-4.3_4.3.6-91406~Ubuntu~lucid_i386.deb原创 2014-01-20 14:15:05 · 5408 阅读 · 0 评论 -
hadoop学习(一)hadoop-1.2.1伪分布式配置及遇到的问题
简化可行安装:如果一遍有问题,在来一遍,再一遍,三遍过后,第四遍,你知道问题出现在哪儿了了!1.JDK 安装:下载路径 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html下载为最新版本的jdk,这里为32位:jdk-7u45-linux-i586.tar.gz不需原创 2013-12-03 09:47:48 · 4622 阅读 · 0 评论 -
hadoop学习(三)hadoop集群从windows移植到linux中问题与技巧
在开始讲Map-Reduce数据分析之前,首先讲解一下,这两天遇到的问题,自己在这上面确实是耽误了很多时间:希望为自己或后来者提供经验。scp 的利用hadoop集群,局域网,hosts文件的配置。原创 2014-01-22 14:14:48 · 2241 阅读 · 0 评论 -
hadoop学习(四)Map/Reduce数据分析简述-示例-电话通讯清单
假如我们集群和伪分布式hadoop系统已经搭建完毕。我们都会根据官网或一些资料提供的wordcount函数来测试我们系统是否能正常工作。假设,我们在执行wordcount函数,都没有问题。那我们就可以开始写M/R程序,开始数据分析了。 因为,hadoop集群,还有其他一些组件需要我们去安装,这里还没有涉及,暂时不考虑。你要做的就是,把要分析的数据上传到HDFS中。至于其余组件,遇到的时候,在学习。这里对概念,不做太多的介绍。必要的概念,和程序执行步骤,这个是必须了解的。 电话通讯清单原创 2014-01-22 16:57:31 · 3637 阅读 · 1 评论 -
hadoop学习(七)WordCount+Block+Split+Shuffle+Map+Reduce技术详解
纯干货:通过WourdCount程序示例:详细讲解MapReduce之Block+Split+Shuffle+Map+Reduce的区别及数据处理流程。 在上篇博客中简单给出了Shuffle的概念,稍提了一下split,但没有谈block。在了解Shuffle之间我们要先了解一下block与split。Shuffle给出的定义是copy,copy一片数据,这里的一片数据你可以理解成一个split数据。但数据上传到HDFS中,数据被分块,被分成一个个的block块,这就引出了什么是block,什原创 2014-03-24 01:04:10 · 5919 阅读 · 2 评论 -
hadoop学习(五)Hadoop2.2.0完全分布式安装详解(1)
如果你决定花点时间去读这篇文章了,请大家仔细读一下,因为每一个点,我们都在上面耽误了一些时间,梳理一下,大家如果遇到相应的问题,也算给大家提供了一个解决方案。前言 在寒假前的一段时间,开始调研Hadoop2.2.0搭建过程,当时苦于没有机器,只是在3台笔记本上,简单跑通一些数据。一转眼一两个月过去了,有些东西对已经忘了。现在学校这边实验室申请下来了,分了10台机器(4G+500G),这足够我们玩的了。开始搭建Hadoop2.2.0分布式集群,也趁着这个机会把整个流程梳理一下。在很多博客中有关于原创 2014-03-20 17:59:22 · 4359 阅读 · 2 评论 -
hadoop学习(九)Hadoop2.2.0+HA+zookeeper3.4.5详细配置过程+错误处理(2)
这篇文章,主要是针对zookeeper和hadoop集群的整体测试,以及自己在实际过程遇到的问题和解决思路。 整个过程是,痛苦、无奈和纠结的。伴随着N多夜晚。总结的过程就超过10个小时。还有很多问题都没有写完,后续会继续跟近,也欢迎与读者讨论交谈。 读者有益,写着有劳。关爱身边每一个人,热爱身体,珍惜生命,且行且珍惜。原创 2014-04-13 13:09:44 · 10801 阅读 · 5 评论 -
hadoop学习(八)Hadoop2.2.0+HA+zookeeper3.4.5详细配置过程+错误处理(1)
Hadoop2.2.0+HA+zookeeper3.4.5+体系结构+错误处理 心血之作,在熟悉hadoop2架构的过程耽误了太长时间,在搭建环境过程遇到一些问题,这些问题一直卡在那儿,不得以解决,耽误了时间。最后,千寻万寻,把问题解决,多谢在过程提供帮助的大侠。这篇文章中,我也会把自己遇到的问题给列出来,帮助后来者进一步的学习。这篇文章结合自己实际测试过程,花费太多心血整理。转载注明出处:原创 2014-04-13 00:31:07 · 8560 阅读 · 3 评论