B02 - 003、Hadoop、完全分布式、CDH5.14.0 - 2.6.0、离线存储、计算、管理

最新推荐文章于 2020-08-21 14:09:06 发布
最新推荐文章于 2020-08-21 14:09:06 发布
阅读量349 收藏 1
点赞数
分类专栏： B02、BigData 文章标签： 完全分布式 Hadoop完全分布式 CDH5.14.0-2.6.0 Hadoop安装 Hadoop环境部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42464054/article/details/90645643
版权

0、本章学习目录大纲 - 完全分布式

初学耗时：2h

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

一、完全分布式服务规划
  1.1  服务规划图。
  1.2  准备工作。
  1.3  解压编译后的Hadoop。
  1.4  安装包目录结构。

二、配置第一台机器
    2.1  修改core-site.xml。
    2.2  修改hdfs-site.xml。
    2.3  修改yarn-site.xml。
    2.4  修改mapred-site.xml。
    2.5  修改slaves。
    2.6  修改hadoop-env .sh。

三、分发安装包
  3.1  分发第一台机器的安装包。
  3.2  所有机器创建目录。
  3.3  修改第二台yarn为rm2，注释第1台yarn的rm1。

四、全部启动
    4.1  启动3台zk。
    4.2  HDFS - 第1台需执行的命令。
    4.3  HDFS - 第2台需执行的命令。
    4.4  YARN - 第3台需执行的命令。
    4.5  YARN - 第2台需执行的命令。
    4.6  RresourceManager - 第3台需执行的命令。
    4.7  访问RM历史任务浏览界面。

五、验证HDFS的高可用
  5.1  登录第一台机器网页。
  5.2  登录第二台机器网页。
  5.3  Kill第一台进程，再次访问两台机器网页。

六、验证YARN的高可用
    6.1  登录第三台机器网页。
    6.2  登录第二台机器网页。
    6.3  kill第三台进程，访问两台机器网页。

七、一键脚本启动与停止
  7.1  starthadoop .sh。
  7.2  stophadoop .sh。


 ギ 舒适区ゾ || ♂ 累觉无爱 ♀





一、完全分布式服务规划

  1.1 ~ 完全分布式服务规划图。

alt

  1.2 ~ 准备工作。

如果之前有装过伪分布式的话，需要停止之前的hadoop集群服务，并删除所有机器的hadoop安装包，重新解压hadoop压缩包。

  1.3 ~ 上传并解压编译后的Hadoop。 
cd /export/softwares
tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/
  1.4 ~ 安装包目录结构。
    1.4.1 .  bin。
  • Hadoop 最基本的管理脚本和使用脚本的目录，这些脚本是 sbin 目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用 Hadoop。
    1.4.2 .  etc。
  • Hadoop 配置文件所在的目录，包括 core-site,xml、hdfs-site.xml、mapred-site.xml 等从 Hadoop1.0 继承而来的配置文件和 yarn-site.xml 等Hadoop2.0 新增的配置文件。
    1.4.3 .  include。
  • 对外提供的编程库头文件（具体动态库和静态库在 lib 目录中），这些头文件均是用 C++定义的，通常用于 C++程序访问 HDFS 或者编写 MapReduce程序。
    1.4.4 .  lib。
  • 该目录包含了 Hadoop 对外提供的编程动态库和静态库，与 include 目录中的头文件结合使用。
    1.4.5 .  libexec。
  • 各个服务对用的 shell 配置文件所在的目录，可用于配置日志输出、启动参数（比如 JVM 参数）等基本信息。
    1.4.6 .  sbin。
  • Hadoop 管理脚本所在的目录，主要包含 HDFS 和 YARN 中各类服务的启动/关闭脚本。
    1.4.7 .  share。
  • Hadoop 各个模块编译后的 jar 包所在的目录。


别学了！跟不上了！

- - - - - - - - - - - - - - - - - - - - - - - - - - - -


二、配置第一台机器

  2.1 ~ 修改core-site.xml。 
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

<configuration>
    <!-- 1 , 指定NameNode的HA高可用的zk地址  -->
	<property>
        <name>ha.zookeeper.quorum</name>
        <value>zrk691101:2181,zrk691102:2181,zrk691103:2181</value>
	</property>
    <!-- 2 , nameNode 节点的 ip , 端口 , 指定HDFS访问的域名地址  -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://zrk</value>
	</property>
    <!-- 3 , 缓存目录 , 临时文件存储目录  -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/datas/hadoop/temp</value>
	</property>
	<!--  开启 hdfs 的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟,10080 就是 7 天 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
    <!--  元数据合并时间：默认一小时一次，单位-秒( 60s * 10 = 3600s = 1h ) -->
    <property>
        <name>fs.checkpoint.period</name>
        <value>3600</value>
    </property>
    <!--  元数据合并大小，默认 64M 一次，单位-b( 1024b*1024*64=67108864 = 64M ) -->
    <property>
        <name>fs.trash.interval</name>
        <value>67108864</value>
    </property>
    <!--  缓冲区大小，实际工作中根据服务器性能动态调整 M -->
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
</configuration>
  2.2 ~ 修改hdfs-site.xml。 
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

<configuration>
    <!-- 集群动态上下线 ( 白名单，文件写的是主机列表，允许访问，如果不写，就都可以访问 ),( 白名单，文件写的是主机列表 ),我们暂且不用这个配置
    <property>
        <name>dfs.hosts</name>
        <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
    </property>

    <property>
        <name>dfs.hosts.exclude</name>
        <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
    </property>
    -->
    
    <!--  1 , 指定命名空间  -->
	<property>
		<name>dfs.nameservices</name>
		<value>zrk</value>
	</property>
    <!--  2 , 指定该命名空间下的两个机器作为我们的NameNode  -->
	<property>
		<name>dfs.ha.namenodes.zrk</name>
		<value>nn1,nn2</value>
	</property>

	<!--  3 , 第一台，客户端访问HDFS的地址  -->
	<property>
		<name>dfs.namenode.rpc-address.zrk.nn1</name>
		<value>zrk691101:8020</value>
	</property>
	<!--  4 , 第二台，客户端访问HDFS的地址  -->
	<property>
		<name>dfs.namenode.rpc-address.zrk.nn2</name>
		<value>zrk691102:8020</value>
	</property>
	<!--  5 , 第一台，两个namenode之间的通信地址 -->
	<property>
		<name>dfs.namenode.servicerpc-address.zrk.nn1</name>
		<value>zrk691101:8022</value>
	</property>
	<!--  6 , 第二台，两个namenode之间的通信地址 -->
	<property>
		<name>dfs.namenode.servicerpc-address.zrk.nn2</name>
		<value>zrk691102:8022</value>
	</property>
	
	<!--  7 , 第一台，web端访问地址  -->
	<property>
		<name>dfs.namenode.http-address.zrk.nn1</name>
		<value>zrk691101:50070</value>
	</property>
	<!--  8 , 第二台，web端访问地址  -->
	<property>
		<name>dfs.namenode.http-address.zrk.nn2</name>
		<value>zrk691102:50070</value>
	</property>
	
	<!--  9 , journalNode的访问地址，注意这个地址一定要配置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://zrk691101:8485;zrk691102:8485;zrk691103:8485/zrk1</value>
	</property>
	<!--  指定故障自动恢复使用的哪个java类 -->
	<property>
		<name>dfs.client.failover.proxy.provider.zrk</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	
	<!--  故障转移使用的哪种通信机制 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	
	<!--  10 , 指定通信使用的公钥  -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!--  11 , journalNode数据存放地址  -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/export/datas/hadoop/dfs/jn</value>
	</property>
	<!--  启用自动故障恢复功能 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!--  12 , namenode产生的文件存放路径 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/datas/hadoop/dfs/nn/name</value>
	</property>
	<!--  13 , edits产生的事务文件存放路径 -->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/datas/hadoop/dfs/nn/edits</value>
	</property>
	<!--  14 , dataNode文件存放路径 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/datas/hadoop/dfs/dn</value>
	</property>
	<!--  15 , 关闭hdfs的文件权限，实际生产环境一定要给打开 -->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<!--  指定block文件块的大小 -->
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>
  2.3 ~ 修改yarn-site.xml。 
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

<configuration>
    <!-- Site specific YARN configuration properties -->
    <!-- 是否启用日志聚合.应用程序完成后,日志汇总收集每个容器的日志,这些日志移动到文件系统,例如HDFS. -->
    <!-- 用户可以通过配置"yarn.nodemanager.remote-app-log-dir"、"yarn.nodemanager.remote-app-log-dir-suffix"来确定日志移动到的位置 -->
    <!-- 用户可以通过应用程序时间服务器访问日志 -->

    <!--  1 , 启用日志聚合功能，应用程序完成后，收集各个节点的日志到一起便于查看 -->
	<property>
			<name>yarn.log-aggregation-enable</name>
			<value>true</value>
	</property>

    <!--  2 , 开启resource manager HA,默认为false--> 
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!--  3 , 集群的Id，使用该值确保RM不会作为其它集群的active -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>zrkcluster</value>
    </property>
    <!--  4 , 配置resource manager  命名-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!--  5 , 配置第三台机器的resourceManager -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>zrk691103</value>
    </property>
    <!--  6 , 配置第二台机器的resourceManager -->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>zrk691102</value>
    </property>

    <!--  7 , 配置第三台机器的resourceManager通信地址 -->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>zrk691103:8032</value>
    </property>
    <!--  8 , 任务调度的通信地址  -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>zrk691103:8030</value>
    </property>
    <!--  9 , 任务执行进度追踪的通信地址  -->
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>zrk691103:8031</value>
    </property>
    <!--  10 , resourcemanager管理通信的内部地址  -->
    <property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>zrk691103:8033</value>
    </property>
    <!--   11, resourcemanager界面查看的一个地址  -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>zrk691103:8088</value>
    </property>

    <!--  12 , 配置第二台机器的resourceManager通信地址,以下全要配 -->
    <property> 
        <name>yarn.resourcemanager.address.rm2</name>
        <value>zrk691102:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>nzrk691102:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>zrk691102:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>zrk691102:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>zrk691102:8088</value>
    </property>
    
    <!--开启resourcemanager自动恢复功能-->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    
    <!-- 13 , 在node3上配置rm1,在node2上配置rm2,注意：一般都喜欢把配置好的文件远程复制到其它机器上，但这个在YARN的另一个机器上一定要修改，其他机器上不配置此项-->
	<!-- <property>       
		<name>yarn.resourcemanager.ha.id</name>
		<value>rm1</value>
       <description>If we want to launch more than one RM in single node, we need this configuration</description>
	</property>
    -->
	   
	<!--  14 , 用于持久存储的类。尝试开启 -->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>zrk691101:2181,zrk691102:2181,zrk691103:2181</value>
        <description>For multiple zk services, separate them with comma</description>
    </property>
    
    <!--  开启resourcemanager故障自动切换，指定机器 --> 
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
        <description>Enable automatic failover; By default, it is enabled only when HA is enabled.    </description>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
        <value>true</value>
    </property>
    
    <property>
        <name>yarn.client.failover-proxy-provider</name>
        <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
    </property>
    
    <!--  以下内容全部根据实际工作当中来调整即可  -->
    <!--  15 , 允许分配给一个任务最大的CPU核数，默认是8 -->
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>4</value>
    </property>
    <!--  16 , 每个节点可用内存,单位MB -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>512</value>
    </property>
    <!--  17 , 单个任务可申请最少内存，默认1024MB -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <!--  18 , 单个任务可申请最大内存，默认8192MB -->
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>512</value>
    </property>
    <!--  19 , 多长时间聚合删除一次日志 此处-->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>2592000</value><!--30 day-->
    </property>
    <!--  20 , 时间在几秒钟内保留用户日志。只适用于如果日志聚合是禁用的-->
    <property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>604800</value><!--7 day-->
    </property>
    <!--  21 , 指定文件压缩类型用于压缩汇总日志-->
    <property>
        <name>yarn.nodemanager.log-aggregation.compression-type</name>
        <value>gz</value>
    </property>
    <!--  22 , nodemanager本地文件存储目录-->
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/export/datas/hadoop/yarn/local</value>
    </property>
    <!--  23 , resourceManager  保存最大的任务完成个数 -->
    <property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>1000</value>
    </property>
    <!--  24 , 逗号隔开的服务列表，列表名称应该只包含a-zA-Z0-9_,不能以数字开始-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--  25 , rm失联后重新链接的时间--> 
    <property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
    </property>
</configuration>
  2.4 ~ 修改mapred-site.xml。 
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<configuration>
    <!--  指定运行mapreduce的环境是yarn -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!--  1 , MapReduce JobHistory Server IPC host:port -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>zrk691103:10020</value>
    </property>
    <!--  2 , MapReduce JobHistory Server Web UI host:port -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>zrk691103:19888</value>
    </property>
    <!--  3, The directory where MapReduce stores control files.默认 ${hadoop.tmp.dir}/mapred/system -->
    <property>
        <name>mapreduce.jobtracker.system.dir</name>
        <value>/export/datas/hadoop/system/jobtracker</value>
    </property>
    <!--  4 , The amount of memory to request from the scheduler for each map task. 默认 1024-->
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
    </property>
    
    <!-- <property>
                <name>mapreduce.map.java.opts</name>
                <value>-Xmx1024m</value>
        </property> -->
    
    <!--  5 , The amount of memory to request from the scheduler for each reduce task. 默认 1024-->
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>1024</value>
    </property>
    
    <!-- <property>
               <name>mapreduce.reduce.java.opts</name>
               <value>-Xmx2048m</value>
        </property> -->
    
    <!--  6 , 用于存储文件的缓存内存的总数量，以兆字节为单位。默认情况下，分配给每个合并流1MB，给个合并流应该寻求最小化。默认值100-->
    <property>
        <name>mapreduce.task.io.sort.mb</name>
        <value>100</value>
    </property>
 
    <!-- <property>
        <name>mapreduce.jobtracker.handler.count</name>
        <value>25</value>
        </property>-->
    
    <!--  7 , 整理文件时用于合并的流的数量。这决定了打开的文件句柄的数量。默认值10-->
    <property>
        <name>mapreduce.task.io.sort.factor</name>
        <value>10</value>
    </property>
    
    <!--  8 , 默认的并行传输量由reduce在copy(shuffle)阶段。默认值5-->
    <property>
        <name>mapreduce.reduce.shuffle.parallelcopies</name>
        <value>25</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.command-opts</name>
        <value>-Xmx1024m</value>
    </property>
    
    <!--  9 , MR AppMaster所需的内存总量。默认值1536-->
    <property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>1536</value>
    </property>
    
    <!--  10 , MapReduce存储中间数据文件的本地目录。目录不存在则被忽略。默认值${hadoop.tmp.dir}/mapred/local-->
    <property>
        <name>mapreduce.cluster.local.dir</name>
        <value>/export/datas/hadoop/system/local</value>
    </property>
</configuration>
  2.5 ~ 修改slaves。 
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves  # 注意，要把localhost删除。

zrk691101
zrk691102
zrk691103
  2.6 ~ 修改hadoop-env.sh。 
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
echo $JAVA_HOME  # 打印Java环境变量路径并复制
vim hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_192

别学了！跟不上了！

- - - - - - - - - - - - - - - - - - - - - - - - - - - -




三、分发安装包

  3.1 ~ 分发第一台机器的安装包。 
cd /export/servers

scp -r /export/servers/hadoop-2.6.0-cdh5.14.0 zrk691102:/export/servers
scp -r /export/servers/hadoop-2.6.0-cdh5.14.0 zrk691103:/export/servers
  3.2 ~ 所有机器创建目录。 
mkdir -p /export/datas/hadoop/temp
mkdir -p /export/datas/hadoop/dfs/jn
mkdir -p /export/datas/hadoop/dfs/nn/name
mkdir -p /export/datas/hadoop/dfs/nn/edits
mkdir -p /export/datas/hadoop/dfs/dn
mkdir -p /export/datas/hadoop/yarn/local
mkdir -p /export/datas/hadoop/system/jobtracker
mkdir -p /export/datas/hadoop/system/local
  3.3 ~ 修改第二台yarn为rm2，注释第1台yarn的rm1。 
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

别学了！跟不上了！

- - - - - - - - - - - - - - - - - - - - - - - - - - - -




四、全部启动

  4.1 ~ 启动3台zk。

alt

  4.2 ~ HDFS - 第1台需执行的命令。 
cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hdfs zkfc -formatZK    # 1、格式化zk
sbin/hadoop-daemons.sh start journalnode  # 2、JournalNode，需要jps验证
bin/hdfs namenode -format  # 3、第一次，格式化
bin/hdfs namenode -initializeSharedEdits -force  # 4、第一次，初始化元数据共享信息
sbin/start-dfs.sh  # 5、不要急，一定要等执行结果zkfc出来！

jps  # 检测其他机器是否启动进程
bin/hdfs namenode -help  # 查找记不住的名称
  4.3 ~ HDFS - 第2台需执行的命令。 
cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode  # 单独启动namenode进程
  4.4 ~ YARN - 第3台需执行的命令。 
/export/servers/hadoop-2.6.0-cdh5.14.0/sbin/start-yarn.sh

# 日志查看（可选）
cd logs
tail -200f yarn-root-resourcemanager-zrk691103.hadoop.com.log
  4.5 ~ YARN - 第2台需执行的命令。 
/export/servers/hadoop-2.6.0-cdh5.14.0/sbin/start-yarn.sh
  4.6 ~ RresourceManager - 第3台需执行的命令。 
/export/servers/hadoop-2.6.0-cdh5.14.0/sbin/mr-jobhistory-daemon.sh start historyserver
  4.7 ~ 访问RM历史任务浏览界面。 
http://zrk691103:19888/jobhistory

alt

别学了！跟不上了！

- - - - - - - - - - - - - - - - - - - - - - - - - - - -




五、验证HDFS的高可用

  5.1 ~ 登录第一台机器网页 - active。 
# 需要在Windows上配置域名，后面就不再解释啦。
http://zrk691101:50070/dfshealth.html#tab-overview
如何配置windows域名？

…
1、进入路径：C:\Windows\System32\drivers\etc
2、修改HOSTS
3、末尾添加：192.168.1.101 zrk691101

  5.2 ~ 登录第二台机器网页 - standby。 
http://zrk691102:50070/dfshealth.html#tab-overview
  5.3 ~ Kill第一台进程，再次访问两台机器网页。 
# 1.查看进程
jps

# 2.杀死进程ID
kill -9 进程代号（一般4~5位）

结果：第一台无法访问，第二台从standby变为active。



别学了！跟不上了！

- - - - - - - - - - - - - - - - - - - - - - - - - - - -




六、验证YARN的高可用

  6.1 ~ 登录第三台机器网页。 
http://zrk691103:8088/cluster
  6.2 ~ 登录第二台机器网页。 
http://zrk691102:8088/cluster

注：由于yarn的内部机制问题，这里只能访问active的网页，无法访问standby的网页。

  6.3 ~ 在第二或第三台查看ResourceManager状态。 
/export/servers/hadoop-2.6.0-cdh5.14.0/bin/yarn rmadmin -getServiceState rm1

/export/servers/hadoop-2.6.0-cdh5.14.0/bin/yarn rmadmin -getServiceState rm2

alt

  6.4 ~ kill第三台进程，访问两台机器网页。

这里是本章唯一的bug：不知道为什么kill第三台的active后，无法实现自动切换到第二台，有可能是配置上疏忽了哪一点，有待小伙伴们的发现或自身的觉悟到位后，再来补全，抱歉啦，虽然这里有小小的瑕疵，但整体问题不大。



别学了！跟不上了！

- - - - - - - - - - - - - - - - - - - - - - - - - - - -




七、一键脚本启动与停止

  7.1 ~ starthadoop.sh 
mkdir -p /export/onekey/hadoop
vim /export/onekey/hadoop/starthadoop.sh

#!/bin/sh
 sh ${HADOOP_HOME}/sbin/start-dfs.sh
 echo "        『zrk691101:50070 - hdfs』  " 
 echo "        『sbin/start-dfs.sh』  "
 echo 
 ssh zrk691103 "source /etc/profile;nohup sh ${HADOOP_HOME}/sbin/start-yarn.sh start >/dev/null 2>&1 &"
 echo "        『zrk691103:8088 - yarn』  " 
 echo "        『sbin/start-yarn.sh』  "
 echo
 ssh zrk691103 "source /etc/profile;nohup sh ${HADOOP_HOME}/sbin/mr-jobhistory-daemon.sh start historyserver >/dev/null 2>&1 &"
 echo "        『zrk691104:19888 - historyserver』  "
 echo "        『sbin/mr-jobhistory-daemon.sh start historyserver』  "
 echo
  7.2 ~ stophadoop.sh 
vim /export/onekey/hadoop/stophadoop.sh
cd /export/onekey/hadoop/
chmod +x starthadoop.sh stophadoop.sh

vim /etc/profile

export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

#!/bin/sh
 ssh zrk691103 "source /etc/profile;nohup sh ${HADOOP_HOME}/sbin/mr-jobhistory-daemon.sh stop historyserver >/dev/null 2>&1 &"
 echo "        『zrk691104:19888 - historyserver』  "
 echo "        『sbin/mr-jobhistory-daemon.sh stop historyserver』  "
 echo
 ssh zrk691103 "source /etc/profile;nohup sh ${HADOOP_HOME}/sbin/stop-yarn.sh stop >/dev/null 2>&1 &"
 echo "        『zrk691103:8088 - yarn』  " 
 echo "        『sbin/stop-yarn.sh』  "
 echo
cd /export/servers/hadoop-2.6.0-cdh5.14.0
 sbin/stop-dfs.sh
 echo "        『zrk691101:50070 - hdfs』  " 
 echo "        『sbin/stop-dfs.sh』  "
 echo


别学了！跟不上了！

- - - - - - - - - - - - - - - - - - - - - - - - - - - -



＾ 至此，Hadoop的完全分布式完成。


- - - - - - - - - - - - - - - - - - - - - - - - - - - -


※ 世间诱惑何其多，坚定始终不动摇。

东风夜放花千树，更吹落、星如雨。
宝马雕车香满路。
凤箫声动，玉壶光转，一夜鱼龙舞。
…
蛾儿雪柳黄金缕，笑语盈盈暗香去。
众里寻他千百度。
蓦然回首，那人却在，灯火阑珊处。
alt



别学了！跟不上了！

- - - - - - - - - - - - - - - - - - - - - - - - - - - -



后续Ⅰ：B02系列 - 基于CDH5.14.0 - CentOS6.9，部署大数据环境及部分编译。



- - - - - - - - - - - - - - - - - - - - - - - - - - - -


注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！



别学了！跟不上了！


会飞还得了
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cdh6.2的存储和计算分离
u013176920的博客
09-09 624
cdh6.2中提供了一种新类型的集群，称计算集群。计算集群运行Impala，Spark，Yarn等计算服务，但可以配置这些服务以访问托管在另一个CDH集群中的数据。使用此架构，可以通过各种方式分离计算和存储资源。 以下是两种存储分离方式 两套cdh测试环境 cm和cdh版本6.2.0 redhat7.4 第一种方式 集群A的存储更换到集群B上 1、hdfs配置 core-site.xml的集群范围高级配置代码段（安全阀）中新增fs.defaultFS，参数为hdfs://B集群ip:8020/
Hadoop大数据生态系统介绍
lv_hulk的博客
02-12 1217
Hadoop大数据生态系统介绍 1、Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。 2、HDFS Hadoop的分布式文件系统。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性...
大数据平台CDH集群离线搭建
ntk1986的博客
03-09 501
摘要：管理、部署Hadoop集群需要工具，Cloudera Manager便是其一。本文先是简要对比了当前的类似工具，而后详细记录了以离线方式部署CDH集群>的步骤。前言 以Apache Hadoop为主导的大数据技术的出现，使得中小型公司对于大数据的存储与处理也拥有了武器。目前Hadoop有不少发行版：华为发行版 收费、Intel发行版 收费、Cloudera发行版（Cloudera’s D
CDH5.14.0安装配置优化文档。
11-05
本人自己的CDH5.14.0的安装记录，保存LINUX配置，MYSQL安装，所有过程记录，以及优化记录。
从零部署CDH5.14.0（一）环境准备
阿晨的博客
05-15 752
最近在学习CDH，这里记录一下CDH的搭建步骤 一、版本选择 1、操作系统 Centos7 2、Cloudera Manager5.14.0 采用rpm包，后续测试升级到6.2，我在官网发现6以后好像没有提供二进制包，如果有同学知道，希望可以留言告知。 下载地址http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.0/RPMS/x86_64/ 3、CDH5.14.0 下载地址http://archive.cloudera.com/...
JTG／T B02-01-2008 公路桥梁抗震设计细则.xdf
02-23
JTG／T B02-01-2008 公路桥梁抗震设计细则
电工电子技术全套PPT教学课件-B02-9833.zip
11-19
这个压缩包“电工电子技术全套PPT教学课件-B02-9833.zip”显然包含了用于教育和学习的PPT资源，可能是教师的教学大纲、课件或者学生的复习资料。下面，我们将深入探讨其中可能涵盖的知识点。 首先，从“5-电工电子...
javax.servlet-api-4.0.0-b02.jar中文文档.zip
03-01
注：下文中的 *** 代表文件名中的版本号。 # 【javax.servlet-api-***.jar中文文档.zip】 中包含： 中文文档：【javax.servlet-api-***-javadoc-API文档-中文(简体)版.zip】 jar包下载地址：【javax.servlet-api-*...
javax.servlet-api-3.1-b02.jar中文文档.zip
03-01
注：下文中的 *** 代表文件名中的版本号。 # 【javax.servlet-api-***.jar中文文档.zip】 中包含： 中文文档：【javax.servlet-api-***-javadoc-API文档-中文(简体)版.zip】 jar包下载地址：【javax.servlet-api-*...
SCFW-B02-028
12-21
超市管理的目标基本以消费者对象而确定，提供的SCFW-B02-028能够给你学习和参考SCFW-B02-028，...该文档为SCFW-B02-028，是一份很不错的参考资料，具有较高参考价值，感兴趣的可以下载看看
B02人力资源管标.doc
09-29
B02人力资源管标.doc
hadoop-2.6.0-cdh5.14.0 64位 native文件库
05-24
自己编译的hadoop2.6-cdh5.14.0库文件，亲测可用。因为编译过程中需要下载大量的maven依赖包，该库文件编译花了十个多小时，所以网络环境不好的情况下，不建议自己编译。
cdh6.1.0搭建手册.pdf
04-01
CDH是Cloudera公司推出的基于稳定版本的Apache Hadoop构建，是Hadoop众多分支中的一种。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码，是唯一提供统一批处理，交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 Cloudera作为一个强大的商业版数据中心管理工具，提供了各种能够快速稳定运行的数据计算框架，如Apache Spark；使用Apache Impala做为对HDFS，HBase的高性能SQL查询引擎；也带了Hive数据仓库工具帮助用户分析数据; 用户也能用Cloudera管理安装HBase分布式列式NoSQL数据库；Cloudera还包含了原生的Hadoop搜索引擎以及Cloudera Navigator Optimizer去对Hadoop上的计算任务进行一个可视化的协调优化，提高运行效率；同时Cloudera中提供的各种组件能让用户在一个可视化的UI界面中方便地管理，配置和监控Hadoop以及其它所有相关组件，并有一定的容错容灾处理；还有一系列实用的组件等等。
使用CDH5.14.0方式Cloudera Manager快速搭建hadoop集群
strelizia
08-21 663
*1.前置操作* 准备了四台虚拟机。root密码均为WHDCone7888# *修改hosts文件* 在四台节点上修改hosts文件，并且最好更改自己的hostname。 映射命名如上。vim /etc/hosts 10.3.69.80 cdh00 10.3.69.81 cdh01 10.3.69.82 cdh02 10.3.69.83 cdh03 hostnamectl set-hostname cdh00 hostnamectl set-hostname cdh01 hostnamectl set-ho
hadoop-2.6.0-cdh完全分布式集群的搭建
JayLaiSCUT的博客
11-21 3736
在Ubuntu 上搭建hadoop-2.6.0-cdh分布式集群1 虚拟机配置2 集群网络配置2.1 修改主机名2.2 添加映射3 集群ssh免密登录配置3.1 生成公钥和私钥3.2 将公钥复制到远程机器中3.3免密ssh登陆测试4 在主节点安装JDK和Hadoop4.1 安装jdk4.2 安装hadoop5 Hadoop集群主节点配置5.1 配置环境变量5.2 开放端口号和指定临时文件夹5.3 ...
CDH版本的hadoop-2.6.0-cdh5.14.0伪集群版搭建
面向星辰大海
10-10 2758
准备工作: 下载CDH的hadoop安装包, 这里选择5.14.0版本 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0-src.tar.gz CDH的hadoop的安装包下载下来后, 是没有提供带C程序访问的接口, 所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题, 所以我们需要下载src源...
Ubuntu CDH 5.14.0 分布式集群搭建
vealcheak的博客
03-15 993
1   准备节点Ø  Ubuntu 14.0.5 DesktopØ  JDK：1.8.0_161Ø  cloudera-manager-trusty-cm5.14.0_amd64.tarØ  CDH-5.14.0-1.cdh5.14.0.p0.24-trusty.parcelØ  CDH-5.14.0-1.cdh5.14.0.p0.24-trusty.parcel.sha1Ø  Manifest....
从零部署CDH5.14.0（二）集群安装
阿晨的博客
05-15 272
一、配置同步脚本xsync，所有节点安装工具rsync yum -y install xsync 以hadoop001为主节点，配置xsync [root@hadoop001 ]# vi /usr/local/bin/xsync #!/bin/sh pcount=$# if((pcount==0)); then echo no args...; exit; fi # 获取文件名称 p1=$1 fname=`basename $p1` echo fname=$...
p2597-b02原理图
最新发布
09-19
p2597-b02是一种原理图，它是指一种电路设计或产品的图示表示。在电子领域，原理图是一种用来描述电路连接关系以及电子元件之间相互作用的图形符号。p2597-b02原理图可能是特定电子设备或系统的设计图纸，用于展示该...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值