Hadoop HA部署流程

已于 2024-08-02 02:03:15 修改
阅读量580 收藏 13
点赞数 12
分类专栏： 大数据组件安装部署 文章标签： hadoop 大数据 分布式
于 2024-07-31 22:44:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82567159/article/details/140833937
版权

Hadoop HA模式部署

​ 本节点主要介绍安装Hadoop HA模式的主要步骤。本次实训使用三个节点完成集群的搭建，具体集群规划如下所示：

主机名masterslaves1slaves2
HDFSNameNode
DataNode		NameNode
DataNode		DataNode
YARNNodeManagerrResourceManager
NodeManager		ResourceManager
NodeManager

​ 在安装Hadoop HA模式，我们需要完成一些准备工作，包括网络配置、关闭防火墙、安装SSH和安装JDK环境、Zookeeper组件安装等。

一、网络配置

态分配的IP地址是临时的，它会在一定时间内释放该IP地址供其他机器使用，因此使用该方式获取的IP地址不是固定的，这样会导致集群不稳定。因此我们需要设置为静态IP，具体操作如下：

  1. 打开【/etc/sysconfig/network-scripts/ifcfg-ens33】文件。

    vi /etc/sysconfig/network-scripts/ifcfg-ens33

  2. 该文件为网卡配置文件，对该文件做以下修改：

    BOOTPROTO="static"

    打开虚拟机【编辑】->【虚拟网络编辑器】，查看VMnet8网卡的子网IP地址。

    在这里插入图片描述
    点击【NAT设置】界面，查看网关IP地址。
    在这里插入图片描述

再向ifcfg-ens33添加以下内容：

IPADDR=192.168.80.160	#前3个数必须与网关IP的前3个数必须一致，最后一个数则随机填入1-255的数字，组成新的IP地址，该IP必须是未被占用的。
GATEWAY=192.168.80.2	#输入VMnet8网关IP地址
DNS1=114.114.114.114

注意：此处每台机器节点配置不一样，大家先进行子网IP查询，再添加以上内容。

  1. 重启网络
systemctl restart network
  1. 网络测试，尝试连接百度地址，如果能正常连接成功，则表示网络配置完成。
ping www.baidu.com

在这里插入图片描述

二、关闭防火墙和SELinux

注意：这个步骤只是为了我们学习方便，在实际工作中绝对不可以关闭防火墙，只能在防火墙配置需要开放的端口即可。

  1. 查看当前防火墙状态

    systemctl status firewalld.service

    CentOS 7默认是开机启动防火墙。因此我们要关闭防火墙并停止开启自动启动防火墙设置。

    在这里插入图片描述

  2. 关闭当前防火墙

systemctl stop firewalld.service
  1. 关闭防火墙的开机自启
systemctl disable firewalld
  1. 关闭后再查看防火墙状态。
systemctl status firewalld.service

在这里插入图片描述

如果防火墙状态变为Inactive(dead)状态，则表示防火墙关闭成功。

关闭完防火墙后，我们即可使用XShell工具连接。

  1. Linux有一个安全模块：SELinux，用以限制用户和程序的相关权限，来确保系统的安全稳定。SELinux的配置同防火墙一样，非常复杂，课程中不多涉及，后续视情况可以出一章SELinux的配置课程。在当前，我们只需要关闭SELinux功能，避免导致后面的软件运行出现问题即可，

    修改/etc/sysconfig/selinux文件

    vim /etc/sysconfig/selinux

    修改文件内容。

    #将第7行的SELINUX=enforcing改为,保存退出后，重启虚拟机即可，千万要注意disabled单词不要写错，不然无法启动系统
SELINUX=disabled

三、安装JDK1.8环境

​ 后续的大数据集群软件，多数是需要Java运行环境的，所以我们为每一台机器都配置JDK环境。

  1. 从Java官网中下载JDK1.8安装包。

  2. 上传JDK安装包到CentOS虚拟机。

    创建一个目录/root/module，专门存放软件安装包

    mkdir /root/module

    使用XFTP工具上传JDK安装包到/root/module目录下。

  3. 解压JDK安装包。

    cd /root/module
tar -zxvf jdk-8u391-linux-x64.tar.gz -C /usr/local/

  4. 更改jdk目录名字

    cd /usr/local/
mv jdk1.8.0_391 jdk1.8

  5. 配置环境变量，编辑/etc/profile文件，将JDK路径添加到PATH环境变量中。

    vim /etc/profile

    在/etc/profile文件末端添加以下内容

    #JAVA HOME
export JAVA_HOME=/usr/local/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

  6. 刷新环境变量

    source /etc/profile

  7. 验证JDK是否生效

    java -verison

    在这里插入图片描述

    出现Java版本号信息，则证明JDK安装完成。

四、复制CentOS镜像

安装集群化软件，首要条件就是要有多台Linux服务器可用。我们可以使用VMware提供的克隆功能，将我们的虚拟机额外克隆出3台来使用。

  1. 首先，关闭当前CentOS系统虚拟机

  2. 在VMWare工具中新建文件夹，命名为：Hadoop集群,将master机器拖到Hadoop集群文件夹中。

    在这里插入图片描述

  3. 克隆master节点。鼠标右键点击【master】节点，选择【管理】->【克隆】进入虚拟机克隆管理界面。

    在这里插入图片描述

    克隆虚拟机当前状态。

    在这里插入图片描述

    选择【创建完整克隆】，虚拟机名称为slaves1，设置slaves1虚拟机的保存路径。点击【完成】。

    在这里插入图片描述

  4. 重复以上操作，克隆出第二个节点：slaves2,并将slaves1与slaves2放到Hadoop集群文件夹中。
    在这里插入图片描述

  5. 开启slaves1节点，修改slaves1节点的配置。

    ① 修改slaves1节点的主机名为slaves1

    hostnamectl set-hostname slaves1

    ② 修改slaves1节点的固定ip为：192.168.80.161**（注意IP地址前3个数需跟VMnet8 IP网关地址前3个数必须一致）**

    vim /etc/sysconfig/network-scripts/ifcfg-ens33

    修改IPADDR的值

    IPADDR=192.168.80.161

  6. 开启slaves2节点，修改slaves2节点的配置。

    按照第5步步骤，将slaves2节点的主机名设置为slaves2，ip设置为：192.168.80.162**（注意IP地址前3个数需跟VMnet8 IP网关地址前3个数必须一致）**

  7. 添加主机名映射

    修改3台节点的/etc/hosts文件。

    vim /etc/hosts

    在文件末端添加以下内容

    192.168.80.160	master
192.168.80.161	slaves1
192.168.80.162	slaves2

五、 配置SSH免密登录

​ 后续安装的集群，都需要远程登录以及远程执行命令，我们可以简单起见，配置三台Linux服务器之间的免密码互相SSH登录。

  1. 在每一台机器执行

    ssh-keygen -t rsa

    一直回车确认即可。

  2. 在每一台机器节点执行一下指令，

    ssh-copy-id master
ssh-copy-id slaves1
ssh-copy-id slaves2
#进行免密操作时会询问是否继续连接，输入“yes”后，再输入登录密码完成操作。

  3. 执行完毕后，使用SSH测试远程登录，如果三台机器能相互登录，且无须输入密码，即代表免密配置成功。

    ssh master		#远程登录master节点
exit			#退出登录
ssh slaves1		#远程登录slaves1节点
exit			#退出登录
ssh slaves2		#远程登录slaves2节点
exit			#退出登录

六、配置Zookeeper集群

​ ZooKeeper 在 Hadoop HA 模式中发挥了关键的协调、状态管理和故障处理的作用，大大提高了 Hadoop 集群的可用性和可靠性。以下为Zookeeper配置步骤。

  1. 下载Zookeeper组件。

    从Zookeeper官网中下载Zookeeper3.5.10版本的安装包，下载链接为：Index of /dist/zookeeper/zookeeper-3.5.10 (apache.org)

  2. 使用XFTP工具上传安装包到master节点的/root/module目录下

  3. 解压ZooKeeper到/usr/local目录下

    cd /root/module
tar -zxvf apache-zookeeper-3.5.10-bin.tar.gz -C /usr/local

  4. 切换到/usr/local/文件夹，将zookeeper-3.4.6重命名为zookeeper

    cd /usr/local
mv apache-zookeeper-3.5.10-bin zookeeper

  5. 配置Zookeeper环境变量

    vim /etc/profile

    在最下面添加以下内容

    export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

  6. 重新加载环境变量，使环境变量生效。

    source /etc/profile

  7. 将/usr/local/zookeeper/conf/zoo_sample.cfg重命名为zoo.cfg(ZooKeeper的配置文件)

    cd /usr/local/zookeeper/conf/
mv zoo_sample.cfg zoo.cfg

  8. 修改Zookeeper的配置文件zoo.cfg

    vi zoo.cfg

    修改dataDir内容：

    dataDir=/usr/local/zookeeper/zkdata

    在文末添加以下内容：

    server.1=master:2888:3888
server.2=slaves1:2888:3888
server.3=slaves2:2888:3888

  9. 新建/usr/local/zookeeper/zkdata，在该目录下新建文件myid

    cd /usr/local/zookeeper/
mkdir zkdata
cd zkdata
echo 1 >> myid

  10. 复制zookeeper目录到slaves1与slaves2节点

    scp -r /usr/local/zookeeper root@slaves1:/usr/local
scp -r /usr/local/zookeeper root@slaves2:/usr/local

  11. 修改slaves1中的myid文件为2，slaves2中的myid的节点为3

    #在slaves1节点中操作
cd /usr/local/zookeeper/zkdata/
echo 2 > myid
#在slaves2节点中操作
cd /usr/local/zookeeper/zkdata/
echo 3 > myid

  12. 配置slaves1与slaves2的Zookeeper的环境变量，并使其生效。

    #在slaves1与slaves2节点中操作
vim /etc/profile

    在文件末端添加以下内容：

    export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

    重新加载环境变量，使环境变量生效

    source /etc/profile

七、 Hadoop集群部署

  1. 下载Hadoop安装包。打开浏览器，在浏览器地址栏中输入以下地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/。

  2. 选择hadoop-3.1.3.tar.gz 版本下载hadoop安装包。

在这里插入图片描述
下载完毕后，使用XFTP工具将安装包上传到master节点的/root/module目录下。

  1. 解压hadoop安装包到/usr/local目录下

    cd /root/module
#解压Hadoop压缩包
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local/

#更改hadoop目录名称
mv /usr/local/hadoop-3.1.3 /usr/local/hadoop

  2. 配置环境变量

    vim /etc/profile

    在/etc/profile文件末端添加Hadoop路径到环境变量中。

    #HADOOP ENV
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

    保存退出，刷新环境变量。

    source /etc/profile

  3. Hadoop的配置文件要修改的地方很多，请细心！！！！进入到/usr/local/hadoop/etc/hadoop文件夹中，配置文件都在这里

    cd /usr/local/hadoop/etc/hadoop

    ① 修改core-site.xml文件

    vim core-site.xml

    在<configuration>标签之间添加fs.defaultFS属性，具体配置如下：

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->
<configuration>
   <!--指定文件系统的名称-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ggb</value>
    </property>
	<!--配置Hadoop运行产生的临时数据存储目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///usr/local/hadoop/tmp</value>                 
        <description>Abase for other temporary directories.</description>
    </property>
	<!--指定自动故障转移的集群-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master:2181,slaves1:2181,slaves2:2181</value>
    </property>
</configuration>

    ② 修改hdfs-site.xml文件

    vim hdfs-site.xml

    具体配置内容如下所示：

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <!--配置HDFS块的副本数（全分布式默认副本为3，最大副本512)-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
	<!--配置HDFS元数据的存储目录-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/hadoop/tmp/dfs/name</value>
    </property>
	<!--配置HDFS真正的数据内容（数据块）的存储目录-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///usr/local/hadoop/tmp/dfs/data</value>
    </property>
	<!--配置虚拟服务名-->
    <property>
        <name>dfs.nameservices</name>
        <value>ggb</value>
    </property>
	<!--为虚拟服务指定两个NameNode（目前每个服务器最多两个NameNode）-->
    <property>
        <name>dfs.ha.namenodes.ggb</name>
        <value>nn1,nn2</value>
    </property>
	<!--配置NameNode（nn1）的RPC地址-->
    <property>
        <name>dfs.namenode.rpc-address.ggb.nn1</name>
        <value>master:9000</value>
    </property>
	<!--配置NameNode（nn2）的RPC地址-->
    <property>
        <name>dfs.namenode.rpc-address.ggb.nn2</name>
        <value>slaves1:9000</value>
    </property>
	<!--配置NameNode（nn1）的HTTP地址-->
    <property>
        <name>dfs.namenode.http-address.ggb.nn1</name>
        <value>master:9870</value>
    </property>
	<!--配置NameNode（nn2）的HTTP地址-->
    <property>
        <name>dfs.namenode.http-address.ggb.nn2</name>
        <value>slaves1:9870</value>
    </property>
	<!--配置JournalNode通信地址-->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master:8485;slaves1:8485;slaves2:8485/ggb</value>
    </property>
	<!--配置NameNode出现故障时，启用备用NameNode的代理-->
    <property>
        <name>dfs.client.failover.proxy.provider.ggb</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
	<!--配置自动故障转移-->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
	<!--配置防止脑裂的手段，shell脚本-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>shell(/bin/true)</value>
    </property>
</configuration>

    ③ 修改mapred-site.xml文件

    vim mapred-site.xml

    具体配置内容如下：

    <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
    	<name>mapreduce.framework.name</name>
    	<value>yarn</value>
  	</property>

  	<property>
    	<name>mapreduce.jobhistory.address</name>
    	<value>master:10020</value>
  	</property>
  	<property>
    	<name>mapreduce.jobhistory.webapp.address</name>
    	<value>master:19888</value>
  	</property>
	<property>
  		<name>yarn.app.mapreduce.am.env</name>
  		<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	</property>
	<property>
  		<name>mapreduce.map.env</name>
  		<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	</property>
	<property>
  		<name>mapreduce.reduce.env</name>
  		<value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
	</property>
</configuration>

    ④ 修改yarn-site.xml文件

    vim yarn-site.xml

    具体配置文件如下所示：

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at
    http://www.apache.org/licenses/LICENSE-2.0
  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>
	<!-- 开启RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-ha</value>
    </property>

    <!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>slaves1</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>slaves2</value>
    </property>

    <!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>master:2181,slaves1:2181,slaves2:2181</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

    ⑤ 修改workers文件

    vim workers

    在workers文件添加以下内容

    master
slaves1
slaves2

    ⑥ 修改hadoop-env.sh

    vim hadoop-env.sh

    在文件开头添加以下内容

    export JAVA_HOME=/usr/local/jdk1.8

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export YARN_PROXYSERVER_USER=root

  4. 将配置好的hadoop目录复制到slaves1，slaves2节点下。

    scp -r /usr/local/hadoop root@slaves1:/usr/local/
scp -r /usr/local/hadoop root@slaves2:/usr/local/

  5. 配置slaves1、slaves2节点的hadoop环境变量。

    分别在slaves1与slaves2节点运行以下指令：

    vim /etc/profile

    在文件末端添加以下内容：

    #HADOOP ENV
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

    保存退出，并重新加载环境变量

    source /etc/profile

  6. 启动Zookeeper集群

    分别在master、slaves1、slaves2节点运行以下指令

    zkServer.sh start

  7. 启动ournal Node集群

    分别在master、slaves1、slaves2节点运行以下指令

    hdfs --daemon start journalnode

  8. 格式化Zookeeper集群

    在master节点运行以下命令：

    hdfs zkfc -formatZK

  9. 格式化NameNode

    在master节点运行以下命令：

    hdfs namenode -format

  10. 启动master节点的namenode进程

    在master节点运行以下指令：

    hdfs --daemon start namenode

  11. 同步 master节点元数据到 salves1上

    在slaves1节点运行以下指令：

    hdfs namenode -bootstrapStandby

  12. 启动slaves1节点上的namenode进程

    在slaves1节点运行以下指令：

    hdfs --daemon start namenode

  13. 启动集群中所有的DataNode

    在master节点运行以下指令

    start-dfs.sh

  14. 启动ZKFC进程

    在master与slaves1节点运行以下指令

    hdfs --daemon start zkfc

  15. 验证故障转移，在master节点运行以下指令：

    hdfs --daemon stop namenode

  16. 启动Yarn集群，在master节点运行以下指令：

    start-yarn.sh

  17. 在任意节点运行以下节点查看resourceManager的状态

    yarn rmadmin -getServiceState rm1	#active
yarn rmadmin -getServiceState rm1	#standby

fs namenode -format
```

  1. 启动master节点的namenode进程

    在master节点运行以下指令：

    hdfs --daemon start namenode

  2. 同步 master节点元数据到 salves1上

    在slaves1节点运行以下指令：

    hdfs namenode -bootstrapStandby

  3. 启动slaves1节点上的namenode进程

    在slaves1节点运行以下指令：

    hdfs --daemon start namenode

  4. 启动集群中所有的DataNode

    在master节点运行以下指令

    start-dfs.sh

  5. 启动ZKFC进程

    在master与slaves1节点运行以下指令

    hdfs --daemon start zkfc

  6. 验证故障转移，在master节点运行以下指令：

    hdfs --daemon stop namenode

  7. 启动Yarn集群，在master节点运行以下指令：

    start-yarn.sh

  8. 在任意节点运行以下节点查看resourceManager的状态

    yarn rmadmin -getServiceState rm1	#active
yarn rmadmin -getServiceState rm1	#standby

至此我们的Hadoop高可靠部署完成。

大数据狗都不学7
关注
专栏目录
Hadoop完全分布式安装
an_vana的博客
08-16 1023
Hadoop 完全分布式安装 前言 ​ 之前有搭建过一次 Hadoop 完全分布式集群但是没有记录，最近开始着手自己搭个模拟数仓需要搭建集群，趁此机会记录一下搭建的过程。 环境及机器： 节点：三台虚拟机 配置：内存 16G、硬盘 100G 系统：Centos 7.7 Hadoop版本：2.7.7 1、安装JDK1.8 1.1 下载 JDK ​ 推荐安装 Oracle 官方提供的 JDK 版本，可以在 Oracle 官网下载得到，下载 Linux 系统的版本即可 1.2 解压 JDK ​ 将下载的 JDK
hadoop——HA集群部署
m0_65809235的博客
06-28 1312
各节点布置NameNodeDataNodeNameNodeDataNode。
Hadoop 完全分布式部署_hadoop分布式安装部署
2401_84185145的博客
04-27 555
把xsync命令发送到node2、node3。
Hadoop的HA配置与实现（ZooKeeper）
最新发布
wusuoweiieq的博客
08-26 1317
将112的tmp目录复制到113上（113为备用的主节点）和dfs.namenode.http-address.
Hadoop完全分布式详细安装过程
11-23
Hadoop安装有三种模式：单机、伪分布式、完全分布式，本文档为完全分布式安装，过程很详细，设计内容包括：在win7上安装虚拟化工具VMware（用于支撑Linux系统），在VMware上安装Ubuntu系统，安装Hadoop前的准备工作（安装JDK和SSH服务），配置Hadoop，安装eclipse（为了方便开发过程），运行一个简单的Hadoop程序（WordCount.java）等。
Hadoop分布式安装
崇尚狼性的专栏
04-02 1191
一、安装准备         1、下载hadoop，地址：http://hadoop.apache.org/,下载相应版本         2、下载JDK版本：Hadoop只支持1.6以上，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html         3、操作系统：Linux
基于Hadoop HA集群部署HBase HA集群（详细版）
pysense的博客
10-28 5079
前面的博客中链接 1、前言 已经给出Hadoop3.1.2和yarn的完整部署（但还不是高可用），此篇博客将给出Hadoop的高可用部署，以及HBase高可用，为之后应用数据层开发提供底层的BigTable支持。前面的文章，我们已经深入讨论的ZooKeeper这个中间件的原理以及分布式锁的实现，事实上zookeeper使用最广泛的场景是“选举”主从角色，Hadoop以及Hbase的高可用（主从架构...
在hadoopHA节点上部署flume高可用组件
pysense的博客
11-24 1097
文章目录前言1、flume 的基本介绍1.1 基本介绍1.2 数据流模型2、flume的配置文件说明2.1 配置过程3、单点flume agent测试3.1 基本安装3.2 启动flume agent进程3.3 将source.type配成tail F4、flume高可用配置4.1 三个agent的flume配置4.2 配置 collector 前言 前面的blog已实现了hadoopHA的项...
Hadoop HA集群部署教程：HDFS HA配置与验证详解
本教学课件旨在详细介绍Hadoop High Availability (Hadoop HA) 集群的部署、HDFS High Availability (HDFS HA) 配置、启动以及验证过程。课程内容分为六个主要任务： 1. **任务一：修改core-site.xml配置** - 在...
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
weixin_34357267的博客
07-25 363
写在前边的话： 最近找了一个云计算开发的工作，本以为来了会直接做一些敲代码，处理数据的活，没想到师父给了我一个课题“基于质量数据的大数据分析”，那么问题来了首先要做的就是搭建这样一个平台，毫无疑问，底层采用hadoop集群，在此之上，进行一些其他组件的安装和二次开发 hadoop伪分布部署参考：点击打开链接 hadoop单机版部署参考：点...
Hadoop【第十课】：完全分布式安装Hadoop
zoxiii的博客
03-10 3609
VMware workstation CentOS 7 完全分布式安装 author：zoxiii 完全分布式安装1、安装JDK（1）下载JDK（2）传输JDK到虚拟机中（3）删除虚拟机原有的JDK（4）安装配置JDK2、安装Hadoop（1） 下载Hadoop（2）将Hadoop传输到虚拟机中（3）Hadoop解压缩：查看有哪些配置文件3、修改配置文件（1）为Hadoop配置JDK的路径（2）配置HDFS系统（3）配置完全分布式（4）配置Hadoop的mapreduce运行在yarn上（5）配置yar.
Hadoop完全分布式搭建（超详细，傻瓜式安装）_hadoop完全分布式集群搭建
afagagagaa的博客
05-06 839
输入代码后根据提示输入yes或者密码。
hadoop完全分布式安装
qq_44304788的博客
09-02 209
9、编辑hadoop-env.sh，并且重新生效 export JAVA_HOME=/home/software/jdk1.8.0_131 export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop 10、编辑core-site.xml，添加如下内容： <!--指定hdfs的nameservice，为整个集群起一个别名--> <property> <name>fs.defaultFS</nam
Hadoop完全分布式环境安装
vegetablelan的博客
11-02 978
2.1.1虚拟机克隆 右键虚拟机->管理->克隆。 图1-1 图1-2 2.1.2虚拟机网络配置 由于虚拟机是克隆的，因此需要对其进行修改配置。 （1）首先配置静态ip，使其与主机的IP不同。修改完ifcfg-ens32配置文件后，重启系统。互ping网关、ip，发现能够ping通，说明配置修改成功。 图1-3 （2）禁用防火墙，由于我的防火墙已经在禁用状态，故不做配置。 图1-4 （3）在ping百度时，报错： 只需要在配置文件中加入新的dns地址（ip与网关相同），再重启网络服务即可
Hadoop完全分布式安装（Centos7+Hadoop2.5.0）
fang.lovest.yang的博客
07-29 994
Hadoop部署模式 Hadoop部署模式有：本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。 区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。 模式名称 各个模块占用的JVM进程数 各个模块运行在几个机器数上 本地模式 1个 1个 伪分布式模式 .
【Hadoop】完全分布式安装
ht15177518806的博客
06-23 775
这个是最后改好的样子。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值