![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
8秒记忆的鱼丶
一名快乐的程序猿
展开
-
hadoop HA
HA概述 1)所谓HA(High Availability),即高可用。 2)实现高可用最关键的策略,是消除单点故障。HA严格来说,应该分成各个组件的HA机制。 HDFS的HA YARN的HA 3)Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。 4)NameNode主要在以下两个方面影响HDFS集群。 NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启 NameNode机器需要升级,包括软件、硬件升级,此时集群也将无法使用 HDFS HA功能通过配置Ac原创 2020-09-12 21:19:59 · 93 阅读 · 0 评论 -
hadoop HDFS文件系统
HDFS概念 1、概念 HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。 HDFS的设计适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据分析,并不适合用来做网盘应用。 2、组成 1)HDFS集群包括,NameNode和DataNode以及Secondary Namenode。 2)NameNode负责管理整个文件系统的元数据,以及每一个路径(文件)所对应的数据块信息。 3)DataNode 负责管原创 2020-09-12 21:14:53 · 107 阅读 · 0 评论 -
hadoop hadoop的详情
Hadoop组成 1)角色 Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统。 Hadoop MapReduce:一个分布式的离线并行计算框架。 Hadoop YARN:作业调度与集群资源管理的框架。 Hadoop Common:支持其他模块的工具模块。 2)HDFS架构概述 1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。 2)DataNode(dn):在本地文件系统存储文件块数原创 2020-09-12 21:12:40 · 122 阅读 · 0 评论 -
hadoop hdfs的基础命令
HDFS常用命令 下面是一些在hdfs上的基础命令: 1)-help 输出这个命令参数 [victor@node1 hadoop-2.8.2]$ bin/hdfs dfs -help rm 2)-ls 显示目录信息 [victor@node1 hadoop-2.8.2]$ bin/hadoop fs -ls / 3)-mkdir 在hdfs上创建目录 [victor@node1 hadoop-2.8.2]$ bin/hadoop fs -mkdir -p /aaa/bbb/cc/dd 4)-moveF原创 2020-09-08 22:23:21 · 123 阅读 · 0 评论 -
大数据 hadoop完全分布式部署
实现hadoop完全分布式的部署: 准备工作: 1)准备至少3台客户机(关闭防火墙、修改静态ip、修改主机名称、修改主机名和ip映射) 2)安装jdk 3)配置环境变量 4)安装hadoop 5)配置环境变量 6)安装ssh 7)配置集群 8)启动测试集群 1、SSH无密码登录 1)配置ssh (1)基本语法,ssh 另一台电脑的ip地址 [victor@node1 ~]$ ssh node2 Last login: Wed Feb 28 09:39:13 2018 [victor@node2 ~]$ ex原创 2020-09-08 20:55:35 · 148 阅读 · 0 评论