【大数据】CentOS 6.8+Hadoop3.1.1伪分布式集群安装

最新推荐文章于 2023-03-09 16:24:41 发布

debimeng

最新推荐文章于 2023-03-09 16:24:41 发布

阅读量520

点赞数 1

分类专栏：大数据文章标签： hadoop3.1.1 伪分布式集 hadoop

本文链接：https://blog.csdn.net/debimeng/article/details/86769519

版权

大数据专栏收录该内容

23 篇文章 1 订阅

订阅专栏

CentOS 6.8下安装Hadoop3.1.1伪分布式集群安装

描述：
在一台虚拟机中的Linux机器安装hadoop3.1伪分布式集群

环境和软件相关：
系统: CentOS 6.8
IP：192.168.1.31
JDK版本：JDK1.8
JDK安装包全名：jdk-8u201-linux-x64.tar.gz
Hadoop安装包全名：hadoop-3.1.1.tar.gz

一、环境配置
1、ssh免秘钥登录
因为只有一台Linux做伪分布式，故只需要对得本机做免秘钥操作即可。

cd ~/.ssh
ssh-keygen -t rsa
ssh-keygen -t dsa
cat *.pub >> authorized_keys
chmod 600 authorized_keys

2、修改系统参数
vi /etc/selinux/config
将SELINUX修改为下面的值
SELINUX=disabled

3、关闭防火墙
service iptables stop
chkconfig iptables off

4、修改hosts文件
vi /etc/hosts
192.168.1.31 note01

二、安装Java1.8

1、检查是否安装有java
rpm -qa|grep java

2、卸载JAVA
如上面1未发现安装有java，可忽略此步；

使用命令：
rpm -e java包名

卸载java，与java有关的全部软件都需要卸载，如遇到卸载不了的，需要强制执行卸载
rpm -e java包名 --nodeps

3、下载jdk软件包(这里下载1.8 Linux 64位的版本)
去官网下载软件包
https://www.oracle.com/technetwork/java/javase/downloads/index.html

4、上传jdk到服务器
这里上传到/tmp目录

5、解压安装包
tar -zxvf /tmp/jdk-8u201-linux-x64.tar.gz

6、移动和配置
将刚解压出来的jdk移动并命名到/usr/share/jdk1.8
mv /tmp/jdk1.8.0_201 /usr/share/jdk1.8

配置:在/etc/profile文件添加以下内容
export JAVA_HOME=/usr/share/jdk1.8
export JRE_HOME=/usr/share/jdk1.8/jre
export CLASSPAT=$JAVA_HOME/lib/
export HADOOP_HOME=/opt/hadoop311/
export PATH=$PATH:$JAVA_HOME/bin/:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin/

使其配置生效
source /etc/profile

7、验证JAVA是否安装
java -version

三、hadoop安装
上传安装包到/tmp路径

解压并移动
tar -zxvf /tmp/hadoop-3.1.1.tar.gz
mv /tmp/hadoop-3.1.1 /opt/hadoop311

配置
修改hadoop-env.sh文件，在文件最后添加内容
cd /opt/hadoop311/etc/hadoop
vi hadoop-env.sh
export JAVA_HOME=/usr/share/jdk1.8
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

配置core-site.xml文件
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://note01:9820</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/peseudo</value>
    </property>
</configuration>

注：note01为主机名；使用3版本默认的9820端口

配置hdfs-site.xml文件
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>note01:9868</value>
    </property>
</configuration>

配置文件workers
vi workers
note01

格式化文件系统
cd /opt/hadoop311
./bin/hdfs namenode -format

当看到有
INFO common.Storage: Storage directory /var/hadoop/peseudo/dfs/name has been successfully formatted.
表示格式化成功！

启动集群
./sbin/start-dfs.sh

启动后查看进程是否启动
jps

查看端口
ss -nal

在火狐或谷歌浏览器输入地址：192.168.1.31:9870查看hadoop状态

四、测试hadoop
查看内容
hdfs dfs -ls /

创建目录
hdfs dfs -mkdir /temp

上传文件
hdfs dfs -put /tmp/hadoop-3.1.1.tar.gz /temp

查看内容
hdfs dfs -ls /