大数据hadoop集群搭建（一）

一.系统环境配置

1.新建用户

1.adduser tom

2.passwd tom --密码设为tom

2.修改用户权限

给用户添加sudo权限

1.vim /etc/sudoers

在root ALL=（All） ALL 下面添加 hadoop ALL=（All） ALL

3.关闭防火墙

更新防火墙规则： 
firewall-cmd --reload

1、firewalld的基本使用
启动： systemctl start firewalld
查看状态： systemctl status firewalld 
停止： systemctl disable firewalld
禁用： systemctl stop firewalld
 

 关闭防火墙：
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
2.systemctl是CentOS7的服务管理工具中主要的工具
，它融合之前service和chkconfig的功能于一体。

启动一个服务：systemctl start firewalld.service
关闭一个服务：systemctlstop firewalld.service
重启一个服务：systemctlrestart firewalld.service
显示一个服务的状态：systemctlstatus firewalld.service
在开机时启用一个服务：systemctlenable firewalld.service
在开机时禁用一个服务：systemctldisable firewalld.service
查看服务是否开机启动：systemctlis-enabled firewalld.service
查看已启动的服务列表：systemctllist-unit-files|grep enabled
查看启动失败的服务列表：systemctl--failed
3.配置firewalld-cmd
查看版本： firewall-cmd --version
查看帮助： firewall-cmd --help
显示状态： firewall-cmd --state
查看所有打开的端口： firewall-cmd--zone=public --list-ports
更新防火墙规则： firewall-cmd --reload
查看区域信息:  firewall-cmd--get-active-zones
查看指定接口所属区域： firewall-cmd--get-zone-of-interface=eth0
拒绝所有包：firewall-cmd --panic-on
取消拒绝状态： firewall-cmd --panic-off
查看是否拒绝： firewall-cmd --query-panic

4.设置固定ip(虚拟机)

##### sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

5.修改主机名

1.查看主机名

hostname

2.临时修改主机名

hostname master1

`3.修改主机名（长久）

vim /etc/hostname

6.创建资源文件夹

sudo mkdir /opt/softwares
sudo mkdir /opt/modules

远程复制命令

scp -r java/ hadoop@centos01:/opt/modules/

#hadoop拒绝history通过19888端口连接查看已完成的job的日志

原因在于：通过start-all.sh启动hadoop各项节点后，historyserver并没有启动，需要手动启动，因此可以通过以下命令来手动启动historyserver，关闭命令也给出.

启动命令：mr-jobhistory-daemon.sh start historyserver

关闭命令：mr-jobhistory-daemon.sh stop historyserver

参考：出处