Centos7搭建集群

Centos7安装配置

一 、 安装

安装就不多做详述,选择好自己的镜像设置好路径即可

二 、配置

2.1 网络配置

桌面右键进入 cmd 命令编辑窗口,在 Linux 中设置网络的相关配置都需要管理员权限,需要先切换到 root 用户。

vim /etc/sysconfig/network-scripts/ifcfg-ens33 

配静态 IP 地址的实例如下:

BOOTPROTO="static"
ONBOOT="yes"
IPADDR=192.168.164.132
NETMASK=255.255.255.0
GATEWAY=192.168.164.2
DNS1=8.8.8.8
DNS2=144.144.144.144

插入 IP 地址、掩码和网关。可以在 VMware 平台的菜单中通过"编辑->虚拟网络编辑器->VMnet8->NAT设置"

2.2 重启网络服务

修改了 IP 设置必须要重启网路服务或者重启计算机才能生效

方式一:systemctl restart network

方式二:systemctl stop network

​ systemctl start network

2.3 验证是否成功

重启网络服务之后在命令编辑窗口输入 ifconfig 会显示出配置的 IP 地址

ping www.baidu.com 按Ctrl + Z 退出

永久关闭防火墙命令 systemctl disable firewalld.service

2.4 修改主机名以及IP映射

#修改主机名
vim /etc/hostname
#修改ip映射
vim /etc/hosts
#重启

三 、 Python 3 安装

在 Linux 系统中,一般自带有 python2 编译器

将下载的 Python 包解压:

tar -zxvf Python-3.9.6.tgz
对包进行重命名
mv Python-3.9.6 python

配置 configure 文件,进入 Python 解压目录,执行 configure 命令。在执行命令之前需要安装 gcc 工具的支持

#需要管理员权限才能下载安装
yum -y install gcc
#进入到python解压目录后执行
./configure

configure 命令执行后会在当前目录生成 Makefile 文件,这个文件将在 make 解析时使用。

配置 SSL 证书, pip 工具在下载安装时所使用的 SSL 支持与系统自带的不一致,就会导致后续 pip 工具在使用时出现不能正常下载

查看 SSL 地址

openssl version -a
#记住
OPENSSLDIR: "/etc/pki/tls"

#修改 SSL 配置
vim Modules/Setup
#修改后的
SSL=/etc/pki/tls
_ssl _ssl.c \
        -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \
        -L$(SSL)/lib -lssl -lcrypto

使用 make 工具编译源代码,执行 make 命令需要 openssl 和 openssl-devel 的支持

yum -y install openssl.x86_64  openssl-devel.x86_64

make install 命令用于安装 make 编译好的源代码

make install

Python 3 编译安装完成后,默认的安装目录是在 /usr/local/bin 和 /usr/local/lib 目录下

创建软链接:将 Python 3 可执行文件同步到 /usr/bin 目录中

ln -s /usr/local/bin/python3 /usr/bin/python3
ln -s /usr/local/bin/pip3 /usr/bin/pip3

pip3 升级命令 python3 -m pip install --upgrade pip

四 、安装配置 JDK

4.1 解压下载好的安装包

tar -zxvf jdk-8u131-linux-x64.tar.gz
#重命名
mv jdk1.8.0_131 jdk

4.2 配置环境变量

linux 系统的环境变量分为两种:全局变量和局部变量。profile 文件是全局变量配置文件,只有管理员用户才能拥有对其文件的写入权限

vim /etc/profile
#添加java的环境变量
export JAVA_HOME=/home/eureka/software/jdk
export PATH=$PATH:$JAVA_HOME/bin
#刷新文件
source /etc/profile

4.3 验证 JDK 是否安装成功

输入 java -version 如果出现Java 命令的详情或者出现版本号即表示安装成功

五 、安装配置 Hadoop

5.1 解压安装

tar -zxvf hadoop-2.10.1.tar.gz

5.2 配置环境变量

vim /etc/profile
#插入内容
export HADOOP_HOME=/home/eureka/software/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#使环境变量生效
source /etc/profile

5.3 验证

输入 hadoop 命令,如果出现 hadoop 命令相关的详细信息,则表示安装成功

5.4 配置 core-site.xml 文件

切换到 Hadoop 配置目录,进入到 hadoop/etc/hadoop 目录,编辑 core-sise.xml 文件

<configuration>
<!--指定HDFS存储入口-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://Eureka:9000</value>
    #自己的主机名
</property>

<!--指定hadoop临时目录-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/eureka/software/hadoop/tmp</value>
    #自己的hadoop安装目录
</property>

5.6 配置 hadoop-env.sh 文件

编辑 hadoop-env.sh 文件,修改 java_home 地址

export JAVA_HOME=/home/eureka/software/jdk
#自己JDK安装目录

5.7 配置 slaves 文件

如果是伪分布有多个子机就配置上主机名即可

5.8 配置hdfs-site.xml 文件

hdfs-site.xml 文件是 Hadoop 2.0 以后版本的必配的文件之一,可以在里面配置集群名字空间、访问端口、URL地址、故障转移等

<!--设备数据备份数量-->
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property