![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
Hadoop
嘻哈吼嘿呵
这个作者很懒,什么都没留下…
展开
-
八、Hadoop基本原理总结—Yarn
一、基本组件1、ResourceManager ResourceManager是master上的进程,负责整个分布式系统的资源管理和调度。 他会处理来自client端的请求(包括提交作业/杀死作业); 启动/监控Application Master; 监控NodeManager的情况,比如可能挂掉的NodeManager。 2、NodeManager...转载 2019-08-03 21:51:53 · 183 阅读 · 0 评论 -
七、Hadoop基本原理总结—MapReduce
一、主要组成(1)、Job:由客户端向集群提交的一次计算任务。(2)、Task:集群的最小可执行单位(一个Job将会分为多个Task执行)(3)、ResourceManager(以下简称RM):管理整个集群的计算资源,主要用于为每一个Job分配计算资源(整个集群只有一个RM)(4)、Container:资源分配单位,一个Container包括一些CPU和存储资源(5)、Node...原创 2019-08-03 21:48:57 · 238 阅读 · 0 评论 -
六、Hadoop基本原理总结—HDFS
一、主要组成模块Hadoop Distributed File System(HDFS):分布式文件存储系统。MapReduce:并行计算框架(可以自定义计算逻辑的部分) Yet Another Resource Negotiator(YARN):另一种资源协调者(顾名思义,Hadoop1.x采用的不是这一个资源管理器)二、HDFS概述及应用场景1、HDF...转载 2019-08-03 21:46:13 · 387 阅读 · 0 评论 -
个人常用命令Hadoop、Hbase、Zookeeper
非第一次启动首先启动zookeeper,zookeeper-3.4.11/bin/zkServer.sh start然后在主节点启动hadoop-2.7.3/sbin/start-all.sh从节点hadoop-2.7.3/sbin/yarn-daemon.sh start resourcemanager额外命令(需要时启动)启动第2步初始化好的NameNode服务...原创 2019-08-03 21:02:09 · 137 阅读 · 0 评论 -
五、Hadoop HA高可用集群搭建—第五步:安装配置Hbase
↵一、解压安装tar -zxvf /home/sxp/soft_packages/hbase-1.4.9-bin.tar.gz -C /usr/softwares/二、配置1、 在集群各个节点的目录下面创建一个文件夹,并更改这个文件夹的权限,将这个目录及子目录的拥有者改为你的当前用户,我这是sxp,不然执行start-all.sh的时候当前用户会没有权限创建pid文件s...原创 2019-08-03 21:00:33 · 181 阅读 · 0 评论 -
四、Hadoop HA高可用集群搭建—第四步:安装配置Hadoop
一、hadoop安装1、在master机器上,解压到/home/hadoop/目录下tar -zxcf hadoop-2.6.5.tar.gz -C /usr/softwares/2、在hadoop-2.7.3文件夹里面先创建文件夹mkdir -p hadoop-2.7.3/data/namemkdir -p hadoop-2.7.3/data/datamkdir -p h...原创 2019-08-03 20:36:01 · 2470 阅读 · 0 评论 -
三、Hadoop HA高可用集群搭建—第三步:安装配置Zookeeper
1、在master机器上,下载后解压到所需目录下:tar -zxvf /home/sxp/soft_packages/zookeeper-3.4.11.tar.gz -C /usr/softwares/2、拷贝 zoo_sample.cfg ,进入zookeeper的conf目录,拷贝zoo_sample.cfg并重命名为zoo.cfg :cd zookeeper-3.4.11/c...原创 2019-08-03 00:40:49 · 126 阅读 · 0 评论 -
二、Hadoop HA高可用集群搭建—第二步:服务器基础环境安装(jdk、ssh、免密登录设置)
一、使用VMvare创建两个虚拟机,关闭全部虚拟机的防火墙1、把用于主节点的虚拟机名称设为master(按自己的喜好创建),把用于从节点的虚拟机名称设为slave1,修改主机名的命令:sudo vim /etc/hostname2、为了虚拟机之间能ping通,需要修改虚拟机的ip地址(这里以在master机器操作为例子,从节点的虚拟机也要进行一致的操作)命令:sudo vim /...原创 2019-08-03 00:24:02 · 167 阅读 · 0 评论 -
一、Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)—第一步:版本选择
1、服务器环境 主机名 Ip 用户名 密码 安装目录 master 192.168.199.131 root 123456 /usr/softwares slave1 ...原创 2019-08-02 23:59:43 · 276 阅读 · 0 评论