1.创建三个配置目录,内容等同于hadoop目录
${hadoop_home}/etc/local
${hadoop_home}/etc/pesudo
${hadoop_home}/etc/full
2.创建符号连接
$>ln -s pesudo hadoop ##(使用哪个模式,就将哪个模式创建连接)
3.对hdfs进行格式化
$>hadoop namenode -format
4.修改hadoop配置文件,手动指定JAVA_HOME环境变量
[${hadoop_home}/etc/hadoop/hadoop-env.sh]
...
export JAVA_HOME=/soft/jdk
...
5.启动hadoop的所有进程
$>start-all.sh
6.启动完成后,出现以下进程
$>jps
33702 NameNode
33792 DataNode
33954 SecondaryNameNode
29041 ResourceManager
34191 NodeManager
7.查看hdfs文件系统
$>hdfs dfs -ls /
##如果出现以下错误:
Call From localhost/127.0.0.1 to localhost:8020 failed on connection exception: java.net.ConnectException: 拒绝连接;
##解决办法:
##修改core-site.xml文件为
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
##重新格式化
hadoop namenode -format
##重启
start-all.sh
8.创建目录
$>hdfs dfs -mkdir -p /user/centos/hadoop
9.通过webui查看hadoop的文件系统
http://localhost:50070/
注:如果在Datanode Information 看不到分机,注意查看是否开启防火墙,或者打开对应的端口。
10.停止hadoop所有进程
$>stop-all.sh
11.centos防火墙操作
##启动firewalld服务,并使用systemctl命令将其添加到启动时。
systemctl start firewalld
systemctl enable firewalld
##接下来,使用firewall-cmd命令将apache tomcat端口8080添加到防火墙,并重新加载firewalld服务。
firewall-cmd --zone=public --permanent --add-port=8080/tcp
firewall-cmd --reload
##检查防火墙中是否提供所有服务,并检查Apache Tomcat端口8080是否打开。
firewall-cmd --list-ports
firewall-cmd --list-services
##Apache Tomcat端口8080可以从网络外部访问,并且ssh端口也默认打开。
[cnetos 6.5之前的版本]
$>sudo service firewalld stop //停止服务
$>sudo service firewalld start //启动服务
$>sudo service firewalld status //查看状态
[centos7]
$>sudo systemctl enable firewalld.service //"开机启动"启用
$>sudo systemctl disable firewalld.service //"开机自启"禁用
$>sudo systemctl start firewalld.service //启动防火墙
$>sudo systemctl stop firewalld.service //停止防火墙
$>sudo systemctl status firewalld.service //查看防火墙状态
[开机自启]
$>sudo chkconfig firewalld on //"开启自启"启用
$>sudo chkconfig firewalld off //"开启自启"禁用
注:部分端口、命令
hadoop的端口
-----------------
50070 //namenode http port
50075 //datanode http port
50090 //2namenode http port
8020 //namenode rpc port
50010 //datanode rpc port
hadoop四大模块
-------------------
common
hdfs //namenode + datanode + secondarynamenode
mapred
yarn //resourcemanager + nodemanager
启动脚本
-------------------
1.start-all.sh //启动所有进程
2.stop-all.sh //停止所有进程
3.start-dfs.sh //
4.start-yarn.sh
[hdfs] start-dfs.sh stop-dfs.sh
NN //名称节点
DN //数据节点
2NN //辅助节点
[yarn] start-yarn.sh stop-yarn.sh
RM
NM
修改主机名
-------------------
1./etc/hostname
s201
2./etc/hosts
127.0.0.1 localhost
192.168.231.201 s201
192.168.231.202 s202
192.168.231.203 s203
192.168.231.204 s204
127.0.0.1 localhost
192.168.31.135 s135
192.168.31.136 s136
192.168.31.137 s137
192.168.31.138 s138