hadoop
middlekingt
工作2年
展开
-
Hadoop分布式文件系统:架构和设计要点
Hadoop分布式文件系统:架构和设计要点原文:http://hadoop.apache.org/core/docs/current/hdfs_design.html一、前提和设计目标1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用转载 2013-01-04 15:10:32 · 742 阅读 · 0 评论 -
超详细单机版搭建hadoop环境图文解析
超详细单机版搭建hadoop环境图文解析 前言:年前,在老大的号召下,我们纠集了一帮人搞起了hadoop,并为其取了个响亮的口号“云在手,跟我走”。大家几乎从零开始,中途不知遇到多少问题,但终于在回家之前搭起了一个拥有12台服务器的集群,并用命令行在该集群上运行了一些简单的mapreduce程序。想借此总结我们的工作过程。安装过程: 一、安装Linux操作系统二转载 2013-01-04 09:51:39 · 617 阅读 · 0 评论 -
Hadoop架构——云计算的具体实现
Hadoop是IT行业一个新的热点,是云计算的一个具体实现、Hadoop本身具有很高的技术含量,是IT工程师学习的首选!下面我们来详细讲讲什么是Hadoop。 完整hadoop讲解视频教程下载地址: 1、http://kuai.xunlei.com/d/CLCBYHQKJQNT 2、http://kuai.xunlei.com/d/CSMFERCHAGEE Hado转载 2013-01-04 09:44:24 · 889 阅读 · 0 评论 -
MapReduce工作原理图文详解
前言: 前段时间我们云计算团队一起学习了hadoop相关的知识,大家都积极地做了、学了很多东西,收获颇丰。可是开学后,大家都忙各自的事情,云计算方面的动静都不太大。呵呵~不过最近在胡老大的号召下,我们云计算团队重振旗鼓了,希望大伙仍高举“云在手,跟我走”的口号战斗下去。这篇博文就算是我们团队“重启云计算”的见证吧,也希望有更多优秀的文章出炉。汤帅,亮仔,谢总•••搞起来啊!呵呵,下转载 2013-01-07 09:30:13 · 611 阅读 · 0 评论 -
Hadoop中HDFS常用命令
hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹 hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录下 hadoop fs -get input1.txt /tmp/input/input1.txt 把HDFS文件拉到本转载 2013-03-08 10:59:08 · 833 阅读 · 0 评论