HDFS
架构技术专栏
知识改变命运,梦想创造未来
展开
-
hdfs安装和配置过程以及hadfs的工作原理(备忘)
在老师的帮助下,折腾了大半天终于把hdfs部署到ubuntu上去了。在这里记录一下各步骤备忘:在讲步骤之前,先总结一下自己对hadoop的工作你原理的理解:1.这个分布式系统是通过一个namenode(运行在master上的一个进程)来作为master来统筹管理多个作为slavers的datanode(运行在slavers上的一个进程);2.master将各sl转载 2014-10-22 10:10:09 · 703 阅读 · 0 评论 -
hadoop 2.2.0安装开发环境(单机伪分布模式)
最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。首先要了解一下Hadoop的运行模式:单机模式(standalone) 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节转载 2014-10-22 10:41:51 · 439 阅读 · 0 评论 -
64位CentOS 6.5下配置Hadoop 2.5.1伪分布式环境
CentOS 6.5集群安装64位Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-06/102665.htmHadoop集群(第5期)_Hadoop安装配置 http://www.linuxidc.com/Linux/2012-12/76694p11.htm至于为什么写这篇文章,主要是Hadoop 2.3之后从框架上做出了质变,所以配置与运行转载 2014-10-22 15:48:35 · 482 阅读 · 0 评论 -
Hadoop 新 MapReduce 框架 Yarn 详解
简介: 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架(Yarn) 原理,优势,运作机制和配置方法等;着重介绍新的 yarn 框架相对于原框架的差异及改进;并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。读者通过本文中新旧 hadoop map-reduce 框架的对比,更能深刻理解新的 yarn 框架的技术原理转载 2014-10-22 15:47:02 · 335 阅读 · 0 评论 -
Hadoop集群配置(最全面总结)
Hadoop集群配置(最全面总结) huangguisu 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址:(http://hadoop.apache.org/common/docs/r0.19.2/c转载 2014-10-22 17:58:57 · 413 阅读 · 0 评论 -
日志系统系列flume-ng+kafka+storm+HDFS搭建实验
最近公司要求搞个日志系统,以前接触不多,最近看了好多资料什么flume flume-ng kafka原创 2014-10-20 11:21:46 · 1896 阅读 · 0 评论 -
Hadoop学习三十:Win7 Eclipse调试Centos Hadoop2.2-Mapreduce
一. 自己搭建开发环境 今天自己搭建了一套Centos5.3 + Hadoop2.2 + Hbase0.96.1.1的开发环境,Win7 Eclipse调试MapReduce成功。可能是版本比较高的原因,出了问题,网上找不到完整解决方案,只能靠自己。 二. Hadoop安装 这个就不啰嗦了,网上大把文章。我下载的是hadoop-2.2.0.tar.g转载 2014-10-28 14:47:02 · 664 阅读 · 0 评论 -
HDFS
引言 最近在研究Hadoop的HDFS分布式文件系统,在网上找了一些资料,稍微整理了下,并对HDFS分布式存储进行了简单的存储测试,跟FTP服务器存储进行了对比,测试数据在文档后面。现在先来了解下什么是Hadoop吧! 什么是Hadoop? Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它转载 2014-10-21 14:35:20 · 380 阅读 · 0 评论 -
Hadoop Hdfs 配置(一)
环境: Jdk1.6 Hadoop-2.20.1 Fuse-2.8.1 Jdk1.6 下载地址http://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/VerifyItem-转载 2014-10-22 12:08:07 · 453 阅读 · 0 评论