Hadoop2.8
文章平均质量分 90
白夜行515
世界上有两样东西不能直视:一是太阳,二是人心!
展开
-
【HDFS入门】HDFS概述
1.概念HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。HDFS是一个主/从(Mater/Slave)体系结构,从最终用户的角度来看,它就像传统的文件系统一样,可以通过目录路径对文件执行CRUD(Create、Read、Upda原创 2017-07-28 10:40:45 · 619 阅读 · 0 评论 -
【Hadoop入门】Hadoop的架构介绍
Hadoop的概念Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。Hadoop是一套开源的软件平台,利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理。诞生于2006年。H原创 2017-07-28 09:55:05 · 37812 阅读 · 2 评论 -
【Hadoop入门】Hadoop2.8的安装步骤
声明1.本篇博文介绍的Hadoop(单节点)安装步骤基于以下环境进行Hadoop 2.8.0虚拟机:VMware Workstation 12.1.0镜像文件:ubuntu16.10sun JDK82.Hadoop的安装步骤一共分为5大步,接下来我会一一介绍1.关闭防火墙安装UFW防火墙:sudo apt-get install ufw查看防火墙状态:sudo ufw status关原创 2017-07-28 13:01:09 · 537 阅读 · 0 评论 -
【HDFS基础】NameNode内存详解
定义NameNode管理着整个HDFS文件系统的元数据。从架构设计上看,元数据大致分成两个层次:Namespace管理层:负责管理文件系统中的树状目录结构以及文件与数据块的映射关系;块管理层:负责管理文件系统中文件的物理块与实际存储位置的映射关系BlocksMap。Namespace管理的元数据除内存常驻外,也会周期Flush到持久化设备上FsImage文件;BlocksMap元数据只在内存原创 2017-07-28 18:00:07 · 6931 阅读 · 5 评论 -
【HDFS基础】常用命令与读写数据过程
HDFS常用命令 命令 功能 start-dfs.sh 启动HDFS start-balancer.sh 执行负载均衡 hadoop fs –put example.txt /suger 将本地文件复制到HDFS中 hadoop fs -copyFromLocal /home/time.txt /suger 将本地文件复制到HDFS中 hadoop fs –原创 2017-07-28 14:08:42 · 2351 阅读 · 0 评论 -
【HDFS基础】NameNode重启优化
一、背景在Hadoop集群整个生命周期里,由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启,不论采用何种架构,重启期间集群整体存在可用性和可靠性的风险,所以优化NameNode重启非常关键。本文基于Hadoop-2.x和HA with QJM社区架构和系统设计(如图1所示),通过梳理NameNode重启流程,并在此基础上,阐述对NameNode重启优化实践。图1 HDFS H转载 2017-07-28 19:07:46 · 686 阅读 · 0 评论 -
【HDFS基础】常用JavaAPI
在实际应用中,我们少不了要用Java开发HDFS,怎样操作呢?直接贴代码public class HdfsOperation { //1.上传本地文件 public void uploadFile() throws IOException { Configuration conf = new Configuration(); FileSystem hdf原创 2017-07-28 14:38:59 · 368 阅读 · 0 评论 -
【HDFS基础】HDFS文件目录详解
HDFS的文件目录图分析:从上图可以看出,HDFS的文件目录主要由NameNode、SecondaryNameNode和DataNode组成,而NameNode和DataNode之间由心跳机制通信。注:HDFS(Hadoop Distributed File System)默认的存储单位是128M的数据块。 可以执行命令vim /home/qingaolei/hadoop/hadoop-2.8.原创 2017-07-28 16:09:26 · 37200 阅读 · 1 评论