完全分布式
慵懒的程序猿007
这个作者很懒,什么都没留下…
展开
-
分布式集群时间同步设置
序:软件版本apache hadoop 3.1.3目录1. 时间服务器配置(必须root用户)2. 其他机器配置(必须root用户)时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。配置时间同步具体实操:1. 时间服务器配置(必须root用户)(1)在所有节点关闭ntp服务和自启动sudo systemctl stop ntpdsudo systemctl disable ntpd(2...原创 2020-06-22 11:18:45 · 290 阅读 · 0 评论 -
Hadoop集群:容量调度器多队列设置
软件版本:VMware:VMware-15.5.1 Linux:CentOS-7.5-x86_64-DVD-1804.iso JDK:jdk-8u212-linux-x64.tar.gz Hadoop:hadoop-3.1.3.tar.gz目录1需求2配置多队列的容量调度器3 web查看调度器1需求Yarn默认的容量调度器是一条单队列的调度器,在实际使用中会出现单个任务阻塞整个队列的情况。同时,随着业务的增长,公司需要分业务限制集群使用率。这就需要我们按照业务种类配置多...原创 2020-06-04 17:59:34 · 700 阅读 · 0 评论 -
Hadoop HA 原理及HA 高可用集群搭建
完全分布式参考:Hadoop完全分布式搭建。目录一、前期准备二、HA 概述三、原理四、HA 集群搭建4.1 HA集群搭建规划4.2 Hadoop HA集群搭建五、web端访问查询序:软件版本:VMware:VMware-15.5.1 Linux:CentOS-7.5-x86_64-DVD-1804.iso JDK:jdk-8u212-linux-x64.tar.gz Hadoop:hadoop-3.1.3.tar.gz Zookeeper:zookeepe原创 2020-05-31 10:38:06 · 791 阅读 · 0 评论