Centos7大数据环境配置

Centos7大数据环境配置

一.使用虚拟机准备三台服务器

IP	Host	CPU	Memory	Disk
192.168.52.100	node01.hadoop.com	1cores	4G	40G
192.168.52.110	node01.hadoop.com	1cores	4G	40G
192.168.52.120	node01.hadoop.com	1cores	4G	40G

安装文档：

链接：https://pan.baidu.com/s/1ikhI8tpNu78QctpXeFv8Gg
提取码：4to4

三.基础环境配置

1.网络配置

首先在关机状态下重新生成mac地址

#修改网络配置
vi /etc/sysconfig/network-scripts/ifcfg-ens33

需要修改的内容为

BOOTPROTO=static
ONBOOT=yes

需要添加的内容为

IPADDR=192.168.52.100
GATEWAY=192.168.52.1
NETMASK=255.255.255.0
DNS1=8.8.8.8

参数解释：https://www.cnblogs.com/fengjunhua/p/8793649.html

配置好网络后续重启虚拟机，可以使用SecureCRTP或者Xshell远程连接服务器，并可以访问外网

ping www.baidu.com

2.安装常用的插件

#1.安装vim编辑器
yum install -y vim

#2.安装lrzsz文件传输工具
yum -y install lrzsz

#3.安装wget文件下载工具
yum -y install wget

#4.安装netstat，查看端口监听状况：   netstat -ntlp | grep 端口号
yum -y install net-tools

#5.下载unzip解压工具，解压命令：  uzip 压缩包.zip -d 解压目录
yum install -y unzip zip

3.关闭防火墙配置

#1-1.临时关闭防火墙
systemctl stop firewalld

#1-2.设置开机不开启防火墙
systemctl disable firewalld

#1-3.查看防火墙状态
firewall-cmd --state

#1-4.临时开启防火墙
#systemctl start firewalld

#1-5.开机启用防火墙
#systemctl enable firewalld


#2-1.临时关闭selinux
setenforce 0

#2-2永久关闭selinux
vim /etc/selinux/config
#将SELINUX=enforcing改为
SELINUX=disabled

#2-3.查看selinux状态
getenforce 0

4.更改主机名

vim /etc/hostname

三个节点分别设置主机名为

node01.hadoop.com
node02.hadoop.com
node03.hadoop.com

更改后需重启虚拟机才生效

5.配置hosts文件

所有节点均需配置

vim /etc/hosts

192.168.52.100  node01.hadoop.com  node01
192.168.52.110  node02.hadoop.com  node02
192.168.52.120  node03.hadoop.com  node03

6.服务器免密码登录

第一步：三台服务器生成公钥与私钥

#在三台机器执行以下命令，生成公钥与私钥
cd ~
ssh-keygen -t rsa

执行该命令之后，要连续按三下回车键

第二步：拷贝公钥到同一台服务器

#三台机器将拷贝公钥到第一台服务器，三台服务器执行命令：
ssh-copy-id node01

第三步：复制第一台服务器的认证到其他服务器

scp /root/.ssh/authorized_keys core02:/root/.ssh
scp /root/.ssh/authorized_keys core03:/root/.ssh

7.时间同步

#查询服务器时间/时区
Timedatectl

#设置时间
date -s 2018-08-15

#设置时区为Asia/Shanghai
timedatectl set-timezone Asia/Shanghai

#安装ntp服务
yum -y install ntp

#启动ntpd的服务
service  ntpd  start

#设置ntpd的服务开机启动
systemctl enable ntpd.service

#查看ntpd的服务是否启动
service  ntpd  status

设置定时任务，与阿里云服务器进行时钟同步
crontab -e

*/1 * * * * /usr/sbin/ntpdate -u ntp4.aliyun.com;

配置成功后会经常弹出：You have new mail in /var/spool/mail/root提示，可通过以下操作关闭邮件提示功能

echo "unset MAILCHECK" >> /etc/profile
source /etc/profile

8.安装jdk

软件路径规划

mkdir -p /baicdt/servers/    #所有软件的安装路径
mkdir -p /baicdt/softwares/  #所有软件压缩包的存放路径
mkdir -p /baicdt/dependency/ #所有软件依赖的软件的安装路径

链接：https://pan.baidu.com/s/1zpprLJrXcsZ1IJbdgfU7AQ
提取码：tllv

下载jdk（网盘连接已经给出来了，可以不用在官网下载了）
https://www.oracle.com/technetwork/java/javase/archive-139210.html

上传到jdk安装包到/baicdt/softwares目录，并解压

cd /baicdt/softwares
tar -zxvf jdk-8u231-linux-x64.tar.gz -C /baicdt/servers/

复制jdk1.8.0到其他服务器上

scp -r /baicdt/servers/jdk1.8.0_231/ node02:/baicdt/servers/
scp -r /baicdt/servers/jdk1.8.0_231/ node03:/baicdt/servers/

配置环境变量

vim /etc/profile

export JAVA_HOME=/baicdt/servers/jdk1.8.0_231
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=:$JAVA_HOME/bin:$PATH

source /etc/profile