Hadoop大数据平台 2 （hadoop、YARN（资源管理器 RM）、HBase高可用集群部署）

最新推荐文章于 2024-02-18 15:49:57 发布
最新推荐文章于 2024-02-18 15:49:57 发布
阅读量1.6k 收藏 2
点赞数 1
文章标签： hadoop hbase yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38664479/article/details/120953036
版权

目录

一、hadoop高可用集群部署

1.hadoop高可用集群简介

  • 在典型的 HA 集群中,通常有两台不同的机器充当 NN。在任何时间,只有一台机器处于Active 状态;另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作；而 Standby NN 主要用于备用,它主要维持足够的状态,如果必要,可以提供快速的故障恢复。
  • 为了让 Standby NN 的状态和 Active NN 保持同步,即元数据保持一致,它们都将会和JournalNodes 守护进程通信。当 Active NN 执行任何有关命名空间的修改,它需要持久化到一半以上的 JournalNodes 上(通过 edits log 持久化存储),而 Standby NN 负责观察 edits log的变化,它能够读取从 JNs 中读取 edits 信息,并更新其内部的命名空间。一旦 Active NN出现故障,Standby NN 将会保证从 JNs 中读出了全部的 Edits,然后切换成 Active 状态。
  • Standby NN 读取全部的 edits 可确保发生故障转移之前,是和 Active NN 拥有完全同步的命名空间状态。
    为了提供快速的故障恢复,Standby NN 也需要保存集群中各个文件块的存储位置。为了实现这个,集群中所有的 Database 将配置好 Active NN 和 Standby NN 的位置,并向它们发送块文件所在的位置及心跳,如下图所示:

在这里插入图片描述

  • 在任何时候,集群中只有一个 NN 处于 Active 状态是极其重要的。否则,在两个 Active NN的状态下 NameSpace 状态将会出现分歧,这将会导致数据的丢失及其它不正确的结果。为了保证这种情况不会发生,在任何时间,JNs 只允许一个 NN 充当 writer。在故障恢复期间,将要变成 Active 状态的 NN 将取得 writer 的角色,并阻止另外一个 NN 继续处于 Active状态。

为了部署 HA 集群,需要准备以下事项:
（1）NameNode machines:运行 Active NN 和 Standby NN 的机器需要相同的硬件配置;
（2）JournalNode machines:也就是运行 JN 的机器。JN 守护进程相对来说比较轻量,所以这些守护进程可以可其他守护线程(比如 NN,YARN ResourceManager)运行在同一台机器上。在一个集群中,最少要运行 3 个 JN 守护进程,这将使得系统有一定的容错能力。当然,你也可以运行 3 个以上的 JN,但是为了增加系统的容错能力,你应该运行奇数个 JN(3、5、7 等),当运行 N 个 JN,系统将最多容忍(N-1)/2 个 JN 崩溃。

  • 在 HA 集群中,Standby NN 也执行 namespace 状态的 checkpoints,所以不必要运行Secondary NN、CheckpointNode 和 BackupNode;事实上,运行这些守护进程是错误的。

2.部署说明

实验准备五台虚拟机，准备Zookeeper的压缩包。
server7/8/10 搭建ZK集群、JN集群、DN集群；
server9/6 搭建NN高可用。

虚拟机ip主机名角色
172.25.36.9server9NameNode、ResourceManager、DFSZKFailoverController
172.25.36.6server6NameNode、ResourceManager、DFSZKFailoverController
172.25.36.7server7DataNode、NodeManager、JournalNode、QuorumPeerMain
172.25.36.8server8DataNode、NodeManager、JournalNode、QuorumPeerMain
172.25.36.10server10DataNode、NodeManager、JournalNode、QuorumPeerMain

3.Zookeeper 集群搭建

server9首先执行脚本，停止hadoop；
jps查看没有任何进程了
请添加图片描述
清除默认的数据目录（server9/7/8/10的 tmp目录内hadoop配置文件）
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
server6安装nfs
请添加图片描述
server6创建hadoop用户；
将共享的目录挂载到自己的/home/hadoop，切入hadoop用户
请添加图片描述
真机将提前下载好的Zookeeper 压缩包传给server9
请添加图片描述
server9解压Zookeeper ，由于是nfs系统全部节点都可共用
请添加图片描述
server7进入zookeeper-3.4.9/conf，复制一份配置文件，命名为zoo.cfg 文件
请添加图片描述
编辑 zoo.cfg 文件；
创建/tmp/zookeeper目录，存放zk集群信息
请添加图片描述
加入三个zk节点的ip，这里172.25.36.7 在zk集群中编号为1，172.25.36.8 在zk集群中编号为2，172.25.36.10 在zk集群中编号为3；
请添加图片描述
2888端口是用来数据同步的，3888端口是用来选举leader的
在这里插入图片描述
根据每个节点自己的编号，把编号写入/tmp/zookeeper/myid，server7写1
请添加图片描述
server8写2
请添加图片描述
server10写3
请添加图片描述
server7进入zookeeper-3.4.9，开启zkserver
请添加图片描述
在server8启动服务
请添加图片描述
在server10启动服务
请添加图片描述
启动之后，依次查看各节点的状态，server7状态为follower
请添加图片描述
server8状态为server7状态为leader（随机选举的身份，只有一个leader）
请添加图片描述
server10状态为follower
请添加图片描述
执行以下命令
请添加图片描述
此时里面还没有数据
请添加图片描述
三个DN节点（ZK集群）的状态如下
请添加图片描述
请添加图片描述
请添加图片描述

4.hadoop-HA高可用搭建

server9编辑/home/hadoop/etc/hadoop/core-site.xml文件
请添加图片描述

<configuration>
<property>
    <name>fs.defaultFS</name>	%指定 hdfs 的 namenode 为 masters (名称可自定义，前后要一致)
    <value>hdfs://masters</value>
</property>

<property>
    <name>ha.zookeeper.quorum</name>	%指定 zookeeper 集群主机地址
    <value>172.25.36.7:2181,172.25.36.8:2181,172.25.36.10:2181</value>
</property>
</configuration>
1

请添加图片描述
编辑etc/hadoop/hdfs-site.xml 文件

[hadoop@server9 hadoop]$ cat hdfs-site.xml 
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>		%副本数为3
        <name>dfs.replication</name>
        <value>3</value>
    </property>

    <property>		%指定 hdfs 的 nameservices 为 masters,和 core-site.xml 文件中的设置保持一致
        <name>dfs.nameservices</name>
        <value>masters</value>
    </property>
    
    <property>		%masters 下面有两个 namenode 节点,分别是 h1 和 h2 (名称可自定义)
        <name>dfs.ha.namenodes.masters</name>
        <value>h1,h2</value>
    </property>
    
    <property>		%指定 h1 节点的 rpc 通信地址
        <name>dfs.namenode.rpc-address.masters.h1</name>
        <value>172.25.36.9:9000</value>
    </property>
    
    <property>		%指定 h1 节点的 http 通信地址
        <name>dfs.namenode.http-address.masters.h1</name>
        <value>172.25.36.9:9870</value>
    </property>
    
    <property>		%指定 h2 节点的 rpc 通信地址
        <name>dfs.namenode.rpc-address.masters.h2</name>
        <value>172.25.36.6:9000</value>
    </property>
    
    <property>		%指定 h2 节点的 http 通信地址
        <name>dfs.namenode.http-address.masters.h2</name>
        <value>172.25.36.6:9870</value>
    </property>
    
    <property>		%指定 NameNode 元数据在 JournalNode 上的存放位置
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://172.25.36.7:8485;172.25.36.8:8485;172.25.36.10:8485/masters</value>
    </property>
    
    <property>		%指定 JournalNode 在本地磁盘存放数据的位置
        <name>dfs.journalnode.edits.dir</name>
        <value>/tmp/journaldata</value>
    </property>
    
    <property>		%开启 NameNode 失败自动切换
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    
    <property>		%配置失败自动切换实现方式
        <name>dfs.client.failover.proxy.provider.masters</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    <property>		%配置隔离机制方法,每个机制占用一行
        <name>dfs.ha.fencing.methods</name>
        <value>
        sshfence
        shell(/bin/true)
        </value>
    </property>
    
    <property>		%使用 sshfence 隔离机制时需要 ssh 免密码
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    
    <property>		%配置 sshfence 隔离机制超时时间
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
</configuration>

请添加图片描述
请添加图片描述
请添加图片描述
在三个DN （server7/8/10） 上开启journalnode，第一次启动 hdfs 必须先手动启动 journalnode（按照编号顺序依次开启）
请添加图片描述
请添加图片描述
请添加图片描述
查看jps进程，可以看到都开启了 JournalNode
请添加图片描述
请添加图片描述
请添加图片描述
server9进入hadoop目录，格式化 HDFS 集群
请添加图片描述
Namenode 数据默认存放在/tmp，server9需要把数据拷贝到 server6
请添加图片描述
server9和server6进行免密
请添加图片描述
server9格式化 zookeeper (只需在 h1 上执行即可)
请添加图片描述
此时，server7进入zk，作为一个查询的窗口，不要退出
请添加图片描述
可以查看到DFS虚拟目录（不要退出）
请添加图片描述
server9启动dfs（这个脚本也带有日志节点的启动）
请添加图片描述
jps可以查看到DFSZKFailoverController（zk控制器）
在这里插入图片描述
此时，返回server7查看，现在的主机为server9，备机为server6
在这里插入图片描述
访问172.25.36.9:9870，可以看到server9为active
在这里插入图片描述
访问172.25.36.6:9870，可以看到server6为standby
在这里插入图片描述
server9创建hadoop用户目录，上传input目录到DFS
在这里插入图片描述
访问172.25.36.9:9870，可以看到上传的文件
在这里插入图片描述

4.故障自动切换

现在关闭 server9的NameNode进程
在这里插入图片描述
在server7查看，现在server6接替任务了
在这里插入图片描述
因此访问172.25.36.9:9870就失败了，因此进程已经被kill了；
现在需要访问172.25.36.6:9870，三个DN状态正常
在这里插入图片描述
现在server6是active
在这里插入图片描述
server9查看input也在，没有异常
在这里插入图片描述
想要恢复server9也很简单，只要开启server9节点即可
在这里插入图片描述
不过现在server6依然是active，因为没有必要切换，浪费资源
在这里插入图片描述
现在可以访问172.25.36.9:9870可以了，但是server9是standby
在这里插入图片描述

二、YARN（资源管理器 RM）高可用集群部署

1.部署

编辑yarn-site.xml 文件
在这里插入图片描述

[hadoop@server9 hadoop]$ cat yarn-site.xml 
<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

    <property>		%配置可以在 nodemanager 上运行 mapreduce 程序
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>		%指定变量
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>

    <property>		%激活 RM 高可用
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    
    <property>		%指定 RM 的集群 id
        <name>yarn.resourcemanager.cluster-id</name>
        <value>RM_CLUSTER</value>
    </property>
    
    <property>		%定义 RM 的节点
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    
    <property>		%指定 RM1 的地址
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>172.25.36.9</value>
    </property>
    
    <property>		%指定 RM2 的地址
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>172.25.36.6</value>
    </property>
    
    <property>		%激活 RM 自动恢复
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    
    <property>		%配置 RM 状态信息存储方式,有 MemStore 和 ZKStore
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    
    <property>		%配置为 zookeeper 存储时,指定 zookeeper 集群的地址
        <name>yarn.resourcemanager.zk-address</name>
        <value>172.25.36.7:2181,172.25.36.8:2181,172.25.36.10:2181</value>
    </property>
</configuration>

server9开启yarn，jps查看出现ResourceManager
在这里插入图片描述
server6，jps查看出现ResourceManager
在这里插入图片描述
server7/8/10，jps查看出现NodeManager
在这里插入图片描述
在server7查看，RM现在rm1是active
在这里插入图片描述
访问172.25.36.9:8088，可以看到是active
在这里插入图片描述
访问172.25.36.9:8088，可以看到是standby
在这里插入图片描述

2.故障切换

杀掉server9的RM
在这里插入图片描述
server7查看，rm2（server5）自动接管active
在这里插入图片描述
访问172.25.36.6:8088，可以看到是active
在这里插入图片描述
当然访问172.25.36.9:8088失败，恢复也很简单，server9开启RM
在这里插入图片描述
但是server9现在是standby，因为没有必要浪费资源切换
在这里插入图片描述

三、HBase高可用集群部署

1.部署

server9进行hbase 配置，解压hbase压缩包

tar zxf hbase-1.2.4-bin.tar.gz

配置hbase环境变量，加入java、hadoop路径，vim ~/hbase-1.2.4/conf/hbase-env.sh
在这里插入图片描述
由于已经配置好zk集群，因此不采用hbase自带的zk ，设置为false
在这里插入图片描述
配置 regionservers 文件，加入集群节点

[hadoop@server9 conf]$ cat regionservers 
172.25.36.7
172.25.36.8
172.25.36.10

配置hbase-site.xml

[hadoop@server9 conf]$ cat hbase-site.xml
<configuration>

<!-- 指定 region server 的共享目录,用来持久化 HBase。这里指定的 HDFS 地址
     是要跟 core-site.xml 里面的 fs.defaultFS 的 HDFS 的 IP 地址或者域名、端口必须一致。 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://masters/hbase</value>
</property>
<!-- 启用 hbase 分布式模式 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- Zookeeper 集群的地址列表,用逗号分割。默认是 localhost,是给伪分布式用
     的。要修改才能在完全分布式的情况下使用。 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>172.25.36.7,172.25.36.8,172.25.36.10</value>
</property>
<!-- 指定 hbase 的 master -->
<property>
<name>hbase.master</name>
<value>h1</value>
</property>
</configuration>

执行启动脚本，启动hbase

[hadoop@server9 hbase-1.2.4]$ bin/start-hbase.sh
starting master, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-master-server1.out
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
172.25.36.7: starting regionserver, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-regionserver-server2.out
172.25.36.8: starting regionserver, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-regionserver-server3.out
172.25.36.10: starting regionserver, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-regionserver-server4.out
172.25.36.7: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
172.25.36.7: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
172.25.36.8: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
172.25.36.8: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
172.25.36.10: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
172.25.36.10: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

查看server9/6 主节点信息 HMaster

[hadoop@server9 hbase-1.2.4]$ jps
17602 DFSZKFailoverController
17779 NameNode
20483 Jps
20330 HMaster
19372 ResourceManager

查看server7/8/10节点信息 HRegionServer

[hadoop@server7 ~]$ jps
4338 QuorumPeerMain
5111 DataNode
6185 Jps
5931 HRegionServer
4940 JournalNode
5551 NodeManager

进入 bin/hbase shell，插入数据

[hadoop@server9 hbase-1.2.4]$ bin/hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/hadoop/hbase-1.2.4/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoop/hadoop-3.2.1/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.2.4, r67592f3d062743907f8c5ae00dbbe1ae4f69e5af, Tue Oct 25 18:10:20 CDT 2016

hbase(main):001:0> create 'test', 'cf'
0 row(s) in 2.4580 seconds

=> Hbase::Table - test
hbase(main):002:0> list 'test'
TABLE                                                                                                                                                                        
test                                                                                                                                                                         
1 row(s) in 0.0220 seconds

=> ["test"]
hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.1580 seconds

hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0160 seconds

hbase(main):005:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0200 seconds

hbase(main):006:0> scan 'test'
ROW                                          COLUMN+CELL                                                                                                                     
 row1                                        column=cf:a, timestamp=1629022054722, value=value1                                                                              
 row2                                        column=cf:b, timestamp=1629022060634, value=value2                                                                              
 row3                                        column=cf:c, timestamp=1629022066509, value=value3                                                                              
3 row(s) in 0.0630 seconds

执行ls命令，插入数据可以在hadoop内查看到

[hadoop@server6 ~]$ cd hadoop
[hadoop@server6 hadoop]$ bin/hdfs dfs -ls /
Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2021-08-15 06:04 /hbase
drwxr-xr-x   - hadoop supergroup          0 2021-08-15 04:16 /user

访问 172.25.36.9:16010,可以看到 master 为 server9， backup 为server6， regions server为 server7/8/10
在这里插入图片描述

2.故障切换

关闭hmaster进程

[hadoop@server9 hbase-1.2.4]$ jps
17602 DFSZKFailoverController
20882 Jps
17779 NameNode
20330 HMaster
19372 ResourceManager
[hadoop@server9 hbase-1.2.4]$ kill 20330

查看切换，master切换为server6
在这里插入图片描述

启动server9节点

[hadoop@server9 hbase-1.2.4]$ bin/hbase-daemon.sh  start master
starting master, logging to /home/hadoop/hbase-1.2.4/bin/../logs/hbase-hadoop-master-server1.out
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

jps查看 HMaster


[hadoop@server9 hbase-1.2.4]$ jps
17602 DFSZKFailoverController
21170 Jps
17779 NameNode
19372 ResourceManager
21055 HMaster

此时backup master 显示为 server9
在这里插入图片描述

奋斗的小猴猴
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop中yarn的部署
m0_61750117的博客
11-14 561
yarn部署
Hadoop YARN HA 集群安装部署详细图文教程
Stars.Sky 的博客
09-05 2325
Hadoop YARN HA 集群安装部署详细图文教程
大数据运维实战第十二课 Hadoop 分布式资源管理器 Yarn、MR 运行机制剖析
fegus的博客
08-19 778
本课时主要讲解了分布式资源管理器 Yarn、MR 运行机制，以及 Yarn 相关的 shell 命令，对于 Yarn 资源运行机制的了解有助于对 Hadoop 集群进行调优和故障排查，这部分内容非常重要，要求我们能熟练掌握。......
HADOOP之部署yarn集群
最新发布
m0_56540826的博客
02-18 510
mapreduce运行在yarn中，部署yarn之前，先配置mapreduce的mapred-env.sh和mapred-site.xml文件。在YARN模式下无效。10. mapreduce.task.io.sort.mb：指定Map任务进行排序操作时使用的内存量（以MB为单位）。7. mapreduce.reduce.memory.mb：指定每个Reduce任务使用的内存量（以MB为单位）。6. mapreduce.map.memory.mb：指定每个Map任务使用的内存量（以MB为单位）。
hadoop 分布式集群部署 一 YARN 高可用部署
CodingDemo
08-10 406
hadoop 分布式集群部署 一 YARN 高可用部署。
HadoopHA高可用集群配置 yarn-site.xml slave
07-11
HadoopHA高可用集群配置 yarn-site.xml slave
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
YARN HA 测试Job YARN HA 测试Job 序号 任务名称 任务一 准备MapReduce输入文件 任务二 将输入文件上传到HDFS 任务三 运行MapReduce程序测试Job 任务一 准备MapReduce输入文件 在master主节点，使用 root 用户登录，...
精品课程推荐 大数据与云计算教程课件 优质大数据课程 03.Hadoop YARN（共25页）.pptx
12-18
大数据与云计算教程课件 优质大数据课程 03.Hadoop YARN（共25页）.pptx 大数据与云计算教程课件 优质大数据课程 04.MapReduce Eclipse开发插件（共20页）.pptx 大数据与云计算教程课件 优质大数据课程 05.Hadoop...
HadoopLearning：完整的大数据基础学习教程，包含最基础的centos，maven。大数据主要包含hdfs，mr，yarn，hbase，kafka，scala，sparkcore，sparkstreaming，sparksql。
02-03
maven相关2，大数据教程2.1，hdfs教程2.1，mapreduce教程3，剩余编写HDFS入门，深入，Shell访问，Java API操作MapReduce入门，深入，编程基础，编程进阶，实战分析和训练Yarn入门，原理剖解和应用场景Hbase存储原理...
董西成主讲Hadoop 2.X大数据平台V3 全套pdf
08-25
董西成主讲HADOOP教程的PDF资料, 包含HDFS,YARN,MAPREDUCE2,HBASE,ZooKeeper,Hive,Pig等
Hadoop-Yarn安装部署
jinjiating的专栏
11-24 1767
Hadoop Yarn的安装部署于Hadoop类似，以下以CDH4.5为例说明安装步骤。三台机器，修改/etc/hosts及/etc/sysconfig/network中的HOSTNAME：     172.20.4.142 yarn-namenode     172.20.4.143 yarn-datanode1     172.20.4.147 yarn-datanode21、实现无密码nam...
大数据技术基础实验十二：YARN实验——部署YARN集群
北天的博客
11-09 1624
大数据技术基础实验十二，YARN集群配置启动。
hadoop集群部署(yarn)
沉潜飞动
03-31 6398
伴随着各大互联网公司开源自己的大数据框架，大数据处理领域的框架已经比较完善。到现在所谓大数据的框架已经用过habase（后来换成了elasticsearch）、zookeeper、kafka、storm，根据项目计划，接下来还要使用spark。虽然在众多框架中仅仅几个，但是也是已经涉及多个方面：数据存储、分布式协调、消息、实时计算等。没有找到任何一个框架能够完美解决所有问题，也就应了那句话，开发领域根本就没有银色子弹
hadoop之yarn部署
Sylvia_D507的博客
10-05 1939
yarn伪分布式部署： YARN on Single Node You can run a MapReduce job on YARN in a pseudo-distributed mode by setting a few parameters and running ResourceManager daemon and NodeManager daemon in addition. The...
Hadoop学习第二课（hadoop3.2.2版本hdfs继续部署+yarn部署）
whs0329的博客
12-01 606
署之前我们先打开环境查看 namenode和secondary namenode都是以hadoop001开启，而datanode不是 1.查看IP地址，配置内网IP------为了实现三个进程都是以hadoop001启动 Linux中查看IP地址命令：ifconfig 如图所示---箭头指向的为当前Linux系统的内网IP 而Windows中的命令是：ipconfig 切换到root用户配置内网IP 红色框框内为内网IP，hadoop001为机器名 2.hdfs的三...
hadoop笔记之部署hadoop集群(HA)+yarn
aniyah的专栏
07-31 348
部署hadoop集群(HA)+yarn 前提条件 部署虚拟机：有以下条件 配置网络 设置USEDNS为no 关闭防火墙 关闭SELinux 配置免秘钥登录 安装jdk zookeeper集群搭建 安装到node2,node3,node4 a) 上传安装包 将zookeeper.tar.gz上传到node2、node3、node4 b) 解压 tar -zxf zookeeper-3.4....
「Hadoop完全分布式」平台搭建之Hbase完全分布式
chunbai_T的博客
09-30 310
ps：记录学习 一、实验目的 在Hadoop的基础上完成Hbase的下载、安装 二、实验要求 jps查看进程是否正常 三、实验原理 基于Ubuntu 16.04搭建 Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库。利用Hbase技术可在廉价PC Server上搭建起大规模结构化存储集群。 Hbase是非关系型数据库，它不要求数据之间有严格的关系，同时它允许在同一列不同行...
cdh中hue集成hbase_Hadoop - 企业级大数据管理平台CDH(小技巧一)
weixin_39586825的博客
11-21 89
附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , 磁盘扩容磁盘迁移对于磁盘增加减少重新分配都是在大数据里面屡见不鲜的内容,当磁盘不够用或者磁盘损坏的时候我们怎么来替换磁盘和增加磁盘就成了一个...
hadoop大数据集群
09-14
主节点负责管理整个集群的文件系统（HDFS）和资源管理（YARN）。它跟踪文件的位置和副本数量，以及分配计算任务给从节点。从节点负责存储和处理数据块，执行分配给它们的任务。 Hadoop大数据集群通过将数据划分成较...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值