大数据
文章平均质量分 86
BigData
从苏打绿到李志
这个作者很懒,什么都没留下…
展开
-
基于Hadoop2.6.5搭建yarn集群
目录1. 前置准备1.1 HDFS集群搭建启动1.2 yarn节点设计2. yarn配置1.1 编辑mapred-site.xml文件1.2 编辑yarn-site.xml文件2.3 同步配置文件3. 启动 & 验证3.1 启动yarn3.2 启动ResourceManager3.3 验证结果1. 前置准备1.1 HDFS集群搭建启动部署并启动HDFS集群,参考教程基于Hadoop2.6.5搭建HDFS集群(HA模式)1.2 yar..原创 2021-02-02 21:12:45 · 222 阅读 · 0 评论 -
基于Hadoop2.6.5搭建HDFS集群(HA模式)
1. 前置准备1.1 相关文档单机模式部署参考:Hadoop2.6.5单机模式搭建(伪分布式)集群模式(非HA)参考:Hadoop2.6.5集群模式(非HA)搭建当前教程参考官方文档:HDFS High Availability Using the Quorum Journal Manager1.2 准备主机操作系统:CentOS 8准备四台虚拟机分别为node01、node02、node03、node04并配置/etc/hosts使其可通过主机名相互访问官方HA方案架构图如原创 2021-01-27 16:58:09 · 426 阅读 · 3 评论 -
基于Hadoop2.6.5搭建HDFS集群(非HA模式)
1. 前置准备1.1 单机模式搭建教程Hadoop2.6.5单机模式搭建(伪分布式)1.2 准备两台虚拟机两台虚拟机角色分配如下表 NameNode SecondaryNode DataNode node01 √ √ node02 √ √ 2. 环境配置2.1 配置SSH免密登录由于NameNode位于node01节点,因此只需配置node01向node02免密登录即可具体步骤...原创 2021-01-26 16:48:18 · 392 阅读 · 0 评论 -
基于Hadoop2.6.5单机搭建HDFS(伪分布式模式)
模式官方文档目录1、前置准备1.1 环境说明1.2 网络配置1.3 主机名及IP映射1.4 关闭防火墙1.5 安装JDK1.6 配置SSH免密登录本机2、Hadoop搭建2.1 上传解压2.2 添加环境变量2.3 修改Hadoop配置3、初始化启动3.1 初始化NameNode3.2 启动3.3 验证结果1.1 环境说明操作系统:CentOS 8Windows下搭建虚拟机Hadoop版本:2.6.5官网下载JDK版本:1..原创 2021-01-25 15:20:33 · 383 阅读 · 0 评论