Hadoop
文章平均质量分 80
zeusgis
这个作者很懒,什么都没留下…
展开
-
零基础学习hadoop到上手工作线路指导(中级篇)
此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结。五一假期:在写点内容,也算是总结。上面我们会了基本的编程,我们需要对hadoop有一个更深的理解:hadoop分为hadoop1.X、hadoop2.X,并且还有hadoop生态系统。这里只能慢慢介绍了。一口也吃不成胖子。hadoop 1.x分为mapreduce与hdfs其中m转载 2014-10-16 22:39:17 · 1445 阅读 · 0 评论 -
hadoop 三节点集群安装配置详细实例
topo节点:192.168.10.46 Hadoop46192.168.10.47 Hadoop47192.168.10.48 Hadoop48Hadoop的守护进程deamons:NameNode/DataNode 和 JobTracker/TaskTracker。其中NameNode/DataNode工作在HDFS层,JobTracker/TaskTracker工作在MapR转载 2014-10-16 23:33:03 · 601 阅读 · 0 评论 -
什么是Map/Reduce
看这篇文章请出去跑两圈,然后泡一壶茶,边喝茶,边看,看完你就对hadoop整体有所了解了。Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume转载 2014-10-16 23:20:17 · 614 阅读 · 0 评论 -
Mapreduce shuffle和排序
Mapreduce为了确保每个reducer的输入都按键排序。系统执行排序的过程-----将map的输出作为输入传给reducer 称为shuffle。学习shuffle是如何工作的有助于我们理解mapreduce工作机制。shuffle属于hadoop不断被优化和改进的代码库的一部分。从许多方面看,shuffle是mapreduce的“心脏”,是奇迹出现的地方。下面这张图介绍了mapre转载 2014-10-16 23:25:32 · 346 阅读 · 0 评论 -
Hadoop新手学习指导
对于我们新手入门学习hadoop大数据存储的朋友来说,首先了解一下云计算和云计算技术是有必要的。下面先是介绍云计算和云计算技术的: 云计算,是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机和其他设备,主要是基于互联网的相关服务地增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法转载 2014-10-16 22:05:34 · 352 阅读 · 0 评论 -
零基础学习hadoop到上手工作线路指导(编程篇)
问题导读:1.hadoop编程需要哪些基础?2.hadoop编程需要注意哪些问题?3.如何创建mapreduce程序及其包含几部分?4.如何远程连接eclipse,可能会遇到什么问题?5.如何编译hadoop源码? 阅读此篇文章,需要些基础下面两篇文章零基础学习hadoop到上手工作线路指导(初级篇)零基础学习hadoop到上手工作线转载 2014-10-16 22:40:05 · 544 阅读 · 0 评论 -
Hadoop集群_Hadoop安装配置
1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲,可以分成两转载 2014-10-16 23:45:46 · 466 阅读 · 0 评论 -
hadoop 伪分布式搭建
下载hadoop1.0.4版本,和jdk1.6版本或更高版本:1. 安装JDK,安装目录大家可以自定义,下面是我的安装目录:/usr/jdk1.6.0_22复制代码配置环境变量:[root@hadoop hadoop-1.0.4]# vi /etc/profile复制代码将环境变量添加到profile文件底部:转载 2014-10-16 23:31:02 · 323 阅读 · 0 评论 -
hadoop shell命令介绍
Hadoop 文件系统shell使用命令介绍,基本上所有的命令与linux命令相差不大,下面为我的hadoop系统文件夹查看命令:hadoop fs -ls /home/hadoop/drwxr-xr-x - hadoop supergroup 0 2013-11-30 17:51 /home/hadoop/dirdrwxr-xr-x - hadoop sup转载 2014-10-16 23:30:37 · 912 阅读 · 0 评论 -
零基础学习hadoop到上手工作线路指导(初级篇)
零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。在刚接触云计算,曾经想过培训,但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下,给大家参考,欢迎讨论,共同学习。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop,没有太大的困难。 首先整体说一下学习过程给大家借鉴:首先查阅了资料,转载 2014-10-16 22:34:11 · 689 阅读 · 0 评论