虚拟机安装
1.虚拟机网络配置
(1)虚拟机设置
注:NAT机制
(2)NAT网关配置
Centos系统安装
版本:centos7 minimal
注意:注意安装时的网络配置
Centos基本设置
1.关闭图形界面:
init 3
配置文件:/etc/inittab
2.添加sudo用户权限:
root状态下:
vi /etc/sudoers
在
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
后加入一行:
(name) ALL=(ALL) ALL
3.修改IP
sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 //ens后的数字不一定
修改
BOOTPROTO="static"
IPADDR="xxx.xxx.xxx.xxx" //你的IP地址
保存后重启网络服务
sudo service network restart
4.更改主机名
sudo vi /etc/sysconfig/network
修改:
NETWORKING=yes
HOSTNAME=xxxx //你的主机名
5.添加IP主机名映射
sudo vi /etc/hosts
添加相应ip和hostname
Centos安装JDK
1.上传JDK
windows端在gitbash上用sftp连接centos服务器
sftp user@192.168.xxx.xxx //用户名@ip地址
put c:/java/jdk-11.0.1.tar.gz //jdk路径
2.解压JDK
3.添加环境变量
修改环境变量文件
sudo vi /etc/profile
在最后一行加上:
export JAVA_HOME=/home/hadoop1/app/jdk-11.0.1 //jdk目录
export PATH=$PATH:$JAVA_HOME/bin
保存,加载环境变量文件
source /etc/profile
测试是否安装成功:
Centos安装hadoop
1.上传,解压hadoop
同上传解压JDK
2.hadoop文件结构
- bin:可执行脚本,常见的普通操作。
- sbin:系统相关脚本,跟hadoop服务的启动和停止相关的执行脚本。
- etc:配置文件。
- lib:hadoop本地库。
- include:和本地库相关的包含文件。
- share:jar包。
3.改配置
进入/etc/hadoop目录:
-
修改环境变量hadoop-env.sh:
hadoop-env.sh文件为hadoop的环境变量,由于其中的JAVA_HOME在获取系统中的JAVA_HOME时会出现问题,因此需要将其中的JAVA_HOME直接写死。
-
修改配置文件
(1)修改core-site.xml
(2)修改hdfs-site.xml
(3)修改mapred-site.xml.template先修改名字:
mv mapred-site.xml.template mapred-site.xml
修改mapred-site.xml:
(4)修改yarn-site.xml
4.关闭防火墙
(1)centos7之前的版本
sudo service iptables stop //关闭防火墙
sudo chkconfig iptables off //关闭开机自启
(2)centos7
systemctl stop firewalld.service //停止防火墙
systemctl disable firewalld.service //关闭开机自启
5.添加环境变量
6.格式化hadoop
hadoop namenode -format