大数据与云计算
文章平均质量分 85
ChrisYoung1314
这个作者很懒,什么都没留下…
展开
-
Hadoop伪分布环境搭建——Linux环境配置
hadoop最近可以说是相当火,也勾起了我的兴趣,所以打算学习一下。想要学习hadoop肯定要先学会在自己的电脑上搭建一个hadoop伪分布环境。伪分布模式安装步骤的第一步就是要配置Linux环境。我自己的Linux是Ubuntu系统,不过只要是Linux系统,都大同小异,配置步骤基本没啥区别。 首先,需要进行本地网络配置。我们需要在linux系统下新增一个网络连接,自己设定好ip(ip原创 2015-08-26 19:16:42 · 1632 阅读 · 3 评论 -
Hadoop伪分布环境搭建——Hadoop安装与配置
我们需要从官网下载hadoop 点击打开链接 我自己下载的是最新的版本 hadoop 2.7.1。 下载完成后就开始安装了: 使用 sudo tar xzf hadoop-2.7.1.tar.gz 命令将文件解压缩。在 /usr/local 目录下创建一个 hadoop 文件夹,然后将文件拷贝到这里来。 sudo mv hadoop-2.7.1 /usr原创 2015-08-28 18:47:14 · 855 阅读 · 0 评论 -
HDFS——HDFS整体设计架构和原理
在我们学习HDFS之前,首先要了解分布式文件系统的概念,分布式文件系统有很多,HDFS只是其中的一种而已。那么分布式文件系统是什么呢,又有哪些优点? 随着现在数据量越来越多,在一个操作系统管辖的范围存不下了,那么就需要分配到更多的操作系统管理的磁盘中,但是这样又不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就产生了分布式文件管理系统。 分布式文件系统是一种允许原创 2015-08-29 08:39:14 · 1984 阅读 · 0 评论 -
HDFS架构——NameNode
在学习NameNode之前,我们先回顾一下 HDFS 的整个系统构架。 在上一篇文章中我们讲过了 NameNode 是管理节点,里面存放元数据,那么我们先来看看元数据的存储细节。 元数据存储细节 HDFS 为了保证数据的快速读写,并且要保证数据的安全,它就将元数据保存在内存一份,还保存在磁盘一份,来看看元数据在内存中是如何存储的。 我们举个例原创 2015-08-29 18:12:22 · 1180 阅读 · 0 评论