腾讯云服务器Linux centos hadoop安装配置

JDK下载地址：清华镜像Index of java-local/jdk，版本：jdk-8u202-linux-x64.tar.gz

HADOOP下载地址：Index of /dist/hadoop/common，版本：hadoop-3.3.5.tar.gz

1. JAVA安装配置

$ tar -xzvf jdk-8u202-linux-x64.tar.gz     #解压JDK

$ vi .bashrc    #配置环境变量
export JAVA_HOME=/home/hadoop/jdk1.8.0_202
export PATH=$JAVA_HOME/bin:$PATH

$ source .bashrc    #环境变量生效

$ java -version    #验证安装

2. HADOOP安装配置

$ tar -xzvf hadoop-3.3.5.tar.gz    #解压hadoop

$ vi .bashrc    #配置环境变量
export HADOOP_HOME=/home/hadoop/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

$ source .bashrc    #环境变量生效

$ cd hadoop-3.3.5    #新建目录
$ mkdir data
$ cd data
$ mkdir namenode
$ mkdir datanode
$ mkdir tmp

$ vi /home/hadoop/hadoop-3.3.5/etc/hadoop/core-site.xml
<property>
    <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-3.3.5/data/tmp</value>
        </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

$ vi /home/hadoop/hadoop-3.3.5/etc/hadoop/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoop-3.3.5/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hadoop-3.3.5/data/datanode</value>
    </property>
        <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

7）免密登录

$ ssh-keygen -t rsa

$ hostname
hadoop-node

$ ssh-copy-id hadoop@hadoop-node    #hadoop是用户名，hadoop-node是主机名

$ ssh user@hadoop-node    #验证免密是否成功

8）启动hadoop服务

$ hdfs namenode -format    #格式化namenode

$ start-dfs.sh    #启动hdfs

9）验证hadoop

jps查看进程

如果有问题可以到hadoop根目录下的logs目录下面查看datanode和namenode的日志

Hadoop版本3.x.x的登录界面，http://云服务器公网IP:9870/

如果访问不了，需要修改腾讯云服务器的防火墙设置

控制台  -> 服务器 -> 更多 -> 查看详情

防火墙 -> 添加规则

添加允许9870端口的访问

登录hadoop管理页面，http://云服务器公网IP:9870/