大数据
Resines
相信自己 加油!
展开
-
Hadoop基础--HDFS基本原理
Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。Hadoop 最核心的模块包括Hadoop Common、HDFS与MapReduce。HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。采用Java语言开发,可以部署在多种普通的廉价...原创 2019-04-28 21:47:23 · 17104 阅读 · 0 评论 -
Hadoop基础---YARN 基本原理
YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。我们的想法是拥有一个全局ResourceManager(RM)和每个应用程序ApplicationMaster(AM)。应用程序可以是单个作业,也可以是作业的DAG。ResourceManager和NodeManager构成了数据计算框架。ResourceManager是在系统中的所有应用程序之间仲裁资源的最终权限。N...原创 2019-04-28 22:29:23 · 479 阅读 · 0 评论 -
Hadoop NameNode 高可用 (High Availability) 实现解析
NameNode 高可用整体架构概述在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问,同时 Hadoop 生态系统中依赖于 HDFS 的各个组件,...原创 2019-05-06 22:27:06 · 341 阅读 · 0 评论 -
Hadoop基础--zookeeper原理
Zookeeper 会维护一个具有层次关系的数据结构,它非常类似于一个标准的文件系统,如图 1 所示图 1 Zookeeper 数据结构zookeeper 这种数据结构有如下这些特点:每个子目录项如 NameService 都被称作为 znode,这个 znode 是被它所在的路径唯一标识,如 Server1 这个 znode 的标识为 /NameService/Server1; ...原创 2019-05-09 23:07:48 · 515 阅读 · 0 评论 -
Kerberos 身份认证原理
Kerberos 身份认证原理Kerberos 是一种基于对称密钥技术的身份认证协议,它作为一个独立的第三方的身份认证服务,可以为其它服务提供身份认证功能,且支持 SSO (即客户端身份认证后,可以访问多个服务如 HBase/HDFS 等)。Kerberos 协议过程主要有两个阶段,第一个阶段是 KDC 对 Client 身份认证,第二个阶段是 Service 对 Client 身份...原创 2019-08-21 13:08:58 · 2420 阅读 · 0 评论 -
Hadoop 基本常用命令
hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令hadoop fs命令可以用于HDFS、Local FS等不同的文件系统。而hdfs dfs命令只用于HDFS文件系统; (1)查看帮助 hdfs dfs -help (2)查看当前目录信息 hdfs dfs -ls / ...原创 2019-08-03 22:02:26 · 1030 阅读 · 0 评论