![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 71
半肉哥
资料不完整
展开
-
hadoop-2.7.4-翻译文档-QJM高可用
HDFS高可用(QJM) 本指南概述了HDFS高可用性(HA)功能以及如何使用Quorum Journal Manager(QJM)功能配置和管理HA HDFS集群。 本文档假设读者对HDFS集群中的一般组件和节点类型有一般的了解。有关详细信息,请参阅分布式集群部署。 本指南讨论如何使用Quorum Journal Manager(QJM)配置和使翻译 2017-09-22 17:39:20 · 330 阅读 · 0 评论 -
hadoop-2.7.4-翻译文档-resourcemanager高可用
ResourceManager高可用性 介绍 本指南概述了YARN的ResourceManager的高可用性,并详细介绍了如何配置和使用此功能。ResourceManager(RM)负责跟踪群集中的资源,并调度应用程序(例如MapReduce作业)。在Hadoop 2.4之前,ResourceManager在YARN集群中存在单点故障。高可用性功能以active/standby rm翻译 2017-09-23 10:51:23 · 745 阅读 · 0 评论 -
hadoop-2.7.4-翻译文档-集群部署
准备JDK。 SSH。 下载hadoop-2.7.4.tar.gz 本地模式1.tar开hadoop包$>tar -zxvf hadoop-2.7.4.tar.gz 2.配置环境变量[etc/environment] PATH=...:hadoop_path/bin:hadoop_path/sbin HADOOP_HOME=hadoop_path 3.验证安装$>hadooop 伪分翻译 2017-09-18 16:11:40 · 565 阅读 · 0 评论 -
hadoop-2.7.4-翻译文档-机架感知
机架感知 Hadoop组件具有机架感知功能。例如,HDFS通过机架感知来将块副本放在不同的机架上,从而提高容错。在群集中发生网络交换机故障或进行分区时,可提供数据可用性。 Hadoop主守护进程通过调用由配置文件指定的外部脚本或java类来获取群集从站的机架ID。使用java类或外部脚本进行拓扑,输出必须遵守java org.apache.hadoop.net.DNSToSwitchMappi翻译 2017-09-23 16:03:57 · 418 阅读 · 0 评论 -
hadoop-2.7.4-翻译文档-分布式集群搭建
安装 安装Hadoop集群通常需要在集群中的所有机器上进行统一安装,或者通过适合目标操作系统的打包系统进行安装。安装的要点是对不同的节点分配不同的功能。 通常,集群中的一台机器被指定为NameNode,另一台机器被指定为ResourceManager。这些是主人(master)。其他服务(例如Web App Proxy Server和MapReduce作业历史记录服务器)通常根据负载在专用硬件或翻译 2017-09-18 19:42:15 · 510 阅读 · 0 评论 -
hadoop-2.7.4-翻译文档-viewFS指南
介绍 视图文件系统(ViewFs)提供了一种方法来管理多个Hadoop文件系统名字空间(或名字空间卷)。这种方法对于拥有多个名称节点和名字空间卷的联邦HDFS特别有用。ViewFs类似于Unix / Linux系统中的客户端挂载表。ViewFs可用于创建个性化的名字空间视图以及每个群集的通用访问。 本指南在具有多个集群的Hadoop系统上下文中呈现,每个集群可以联合到多个命名空间中。它还描翻译 2017-09-27 09:31:09 · 451 阅读 · 0 评论 -
hadoop-2.7.4-翻译文档-联邦HDFS
HDFS联盟 HDFS联盟 背景多个Namenodes /命名空间 主要优点 联合配置 组态:格式化Namenodes从旧版本升级并配置联盟将新的Namenode添加到现有的HDFS集群 管理集群 启动和停止集群平衡器退役群集Web控制台 本指南概述了HDFS联合功能以及如何配置和管理联合集群。 背景 HDFS有两个主要层: 命名空间翻译 2017-09-25 09:16:33 · 513 阅读 · 0 评论 -
hadoop-2.7.4-nodemanager无法启动问题解决方案
近期新配了hadoop-274版本的集群,发现有一个小问题,DataNode无法顺利启动。 问题日志如下: resourcemanager_log 2017-09-20 03:54:24,165 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService: NodeManager from ub原创 2017-09-20 21:15:07 · 3320 阅读 · 2 评论 -
编译hadoop并获取native
文档说明 该文档为完成编译后,根据印象编写,并未经过重新编译测试,大体步骤应该没错,如有错误,望指正。 编译的最初目的,是为了获取合适的native包,并且检测手动编译的native包和自带的native包有何差别。 编译的版本为apache-hadoop-2.7.6和hadoop-2.6.0-cdh5.5.0。 编译说明 源码中会有一个 BUILDING.txt...原创 2018-12-12 19:14:18 · 1369 阅读 · 0 评论