![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
SUDDEV
这个作者很懒,什么都没留下…
展开
-
HDFS HA和Yarn HA架构的概念和区别
文章目录1.HDFS HA的概念和架构2.Yarn HA概念和架构最近开始自学大数据,学习过程中将一些知识点整理一下,方便自己复习1.HDFS HA的概念和架构什么是HA? HA全称是High Availability,也就是高可用的意思。在企业中往往会使用集群来解决可用性问题,实现高可用。在HDFS的架构中,NameNode是负责客户端请求的响应以及元数据的管理(查询,修改等),所以N...原创 2019-08-18 18:59:41 · 1486 阅读 · 0 评论 -
HDFS&Yarn HA 集群部署(三台机器)
文章目录1.规划&环境准备1.1 软件准备1.2 主机规划2.安装前准备2.1 添加hadoop用户并创建目录2.1.1 添加hadoop用户2.2.2 创建目录2.2.3 配置Hosts使ip与hostname绑定2.2.4 安装rz和sz命令2.2.5 配置Hadoop的SSH互信2.2.6 上传需要安装的软件2.2 软件安装2.2.1 Jdk安装2.2.2 Zookeeper安装&...原创 2019-08-22 00:05:34 · 716 阅读 · 0 评论 -
Windows 下/bin/bash: line 0: fg: no job control一般解决方法
hadoop版本2.7.1在mapred-site.xml中添加配置<property> <name>mapreduce.app-submission.cross-platform</name> <value>true</value></property>转载 2019-09-02 10:13:19 · 781 阅读 · 1 评论 -
Intellij IDEA远程向hadoop集群提交mapreduce作业
1.准备一份写好的mapreduce代码2.本地添加yarn-site.xmlhadoop001改为你对应的集群hostname<?xml version="1.0"?><configuration> <!-- Site specific YARN configuration properties --> <property>...原创 2019-09-02 10:31:14 · 385 阅读 · 0 评论