基于腾讯云CVM搭建Hadoop集群及数据迁移实践

一、需求和目标

本文主要介绍如何在腾讯云CVM上搭建Hadoop集群，以及如何通过distcp工具将友商云Hadoop中的数据迁移到腾讯云自建Hadoop集群。也可以考虑使用轻量服务器作为替代。

二、环境说明

JDK版本：jdk1.8.0_171

Hadoop版本：hadoop-2.7.4

主机	角色	软件
腾讯云tx-namenode 172.16.2.234	NameNode/SecondaryNameNode/ ResourceManager	HDFS/YARN
腾讯云tx-datanode1 172.16.2.4	DataNode/NodeManager	HDFS/YARN
腾讯云tx-datanode2 172.16.2.8	DataNode/NodeManager	HDFS/YARN
腾讯云tx-datanode3 172.16.2.7	DataNode/NodeManager	HDFS/YARN
友商云ali-namenode 10.1.125.118	NameNode/SecondaryNameNode/ ResourceManager	HDFS/YARN
友商云ali-datanode1 10.1.125.119	DataNode/NodeManager	HDFS/YARN
友商云ali-datanode2 10.1.125.116	DataNode/NodeManager	HDFS/YARN
友商云ali-datanode3 10.1.125.117	DataNode/NodeManager	HDFS/YARN

三、腾讯云Hadoop集群搭建

1、系统环境配置

1.1 配置主机名（永久修改）

（1）在腾讯云tx-namenode节点配置：

[root@tx-namenode ~]# vim /etc/sysconfig/network

NETWORKING=yes  #使用网络
HOSTNAME=tx-namenode  #设置主机名

（2）腾讯云tx-datanode1节点配置：

[root@tx-datanode1 ~]# vim /etc/sysconfig/network

NETWORKING=yes  #使用网络
HOSTNAME=tx-datanode1  #设置主机名

（3）腾讯云tx-datanode2节点配置：

[root@tx-datanode2 ~]# vim /etc/sysconfig/network

NETWORKING=yes  #使用网络
HOSTNAME=tx-datanode2  #设置主机名

（4）腾讯云tx-datanode3节点配置：

[root@tx-datanode3 ~]# vim /etc/sysconfig/network

NETWORKING=yes  #使用网络
HOSTNAME=tx-datanode3  #设置主机名

1.2 安装JAVA运行环境

（1）在/usr下创建Java目录

mkdir -p /usr/java

（2）将JDK包解压到/usr/java下

tar xvf jdk-8u171-linux-x64.tar -C /usr/java

（3）设置环境变量

vim /etc/profile

#添加如下配置
export JAVA_HOME=/usr/java/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME="/usr/hadoop-2.7.4"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

#重新加载，使配置生效
source /etc/profile

1.3 配置hosts

#腾讯云侧每个节点都需要修改
vim /etc/hosts

172.16.2.234  tx-namenode
172.16.2.4  tx-datanode1
172.16.2.8  tx-datanode2
172.16.2.7  tx-datanode3

1.4 配置SSH免秘钥登录