![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 97
深圳精神病院院长
这个作者很懒,什么都没留下…
展开
-
Hadoop--MapReduce解析与案例
一、MapReduce工作机制 整个mapeduce过程如图所示。在最高层,有以下5个独立的实体。客户端,提交mapreduce作业yarn资源管理器,负责协调集群上计算机资源的分配yarn节点管理器,负责启动和见识集群中机器上的计算容器(container)mapreduce的application master,负责协调运行mapreduce作业的任务,它和mapreduce...原创 2018-08-16 18:02:03 · 482 阅读 · 0 评论 -
Hadoop--HDFS辅助功能
一、集群间数据拷贝scp实现两个远程主机之间的文件复制将本机文件传到远程主机:[root@hadoop001 hadoop-2.6.5]# scp flow.jar root@hadoop002:/opt/module/hadoop-2.6.5flow.jar 100% 38MB 28....原创 2018-08-16 12:00:53 · 325 阅读 · 0 评论 -
HDFS之namenode与datanode理解
一、HDFS集群 HDFS集群有两类节点以管理节点-工作节点模式运行,即一个namenode(管理节点)和多个datanode(工作节点)。namenode管理文件系统的命名空间。它维护着文件系统树及整棵树内的所有文件和目录。这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像文件和编辑日志文件。namenode也记录着每个文件中各个块所在的数据节点信息,但是它并不会永久保存块的位置信息...原创 2018-08-16 10:05:53 · 29511 阅读 · 0 评论 -
Hadoop三种模式安装教程(详解)
一、预备安装java环境,jdk1.8.0_171 首先去Oracle下载jdk,复制到虚拟机root@hadoopmaster module]# pwd/opt/module[root@hadoopmaster module]# lltotal 186424drwxr-xr-x. 8 root root 4096 Mar 28 17:18 jdk1.8.0_171...原创 2018-08-11 17:15:09 · 19592 阅读 · 0 评论 -
HDFS基本操作(命令行和客户端)
一、命令行操作1.显示目录信息: [root@hadoop001 hadoop-2.6.5]# hadoop fs -ls /[root@hadoop001 hadoop-2.6.5]# hadoop fs -ls /Found 2 itemsdrwx------ - root supergroup 0 2018-08-13 19:06 /tmpd...原创 2018-08-14 12:14:13 · 4137 阅读 · 0 评论 -
Hadoop-HA模式(详解)
一、概述之前的博客写了搭建hadoop集群环境,今天写一写搭建高可用(HA)环境。Hadoop-HA模式大致分为两个(个人在学习中的理解):namenode 高可用yarn 高可用1、Namenode HANamenode在HDFS中是一个非常重要的组件,相当于HDFS文件系统的心脏,在显示分布式集群环境中,还是会有可能出现Namenode的崩溃或各种意外。所以,高可用模...原创 2018-08-21 17:30:47 · 26721 阅读 · 6 评论