Hadoop伪分布配置

设置网络

设置静态ip

vi /etc/sysconfig/network-scripts/ifcfg-ens330

bootproto改为static 注释uuid onboot改为yes
最后加上

IPADDR=（自己的ip地址）
NETMASK=255.255.255.0
GATEWAY=192.168.134.2
DNS1=8.8.8.8

重启

service network restart

使用ifconfig查看是否设置正确

准备文件

拷贝jdk和hadoop

使用xftp将已经下载好的jdk和hadoop的jar包拷贝到Linux虚拟机中

解压

tar -zxvf (jdk)
tar -zxf (hadoop)

更改profile

vi  /etc/profile

加上

export JAVA_HOME=(jdk路径)
export JAVA_BIN=(jdk路径)/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   
export HADOOP_HOME=(hadoop路径)
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更改hosts

vi /etc/hosts

加上ip地址＋空格+(hostsname)

配置伪分布

更改hadoop配置文件

vi (hadoop路径)/etc/hadoop

①hadoop.env.sh中第25行将${JAVA_HOME}改为(jdk路径)

②core-site.xml在configuration中加上

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://(hostsname):9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/hostsname/hadoop/tmp</value>
</property>

③hdfs-site.xml在configuration中加上

<property>
            <name>dfs.replication</name>
               <value>1</value>
</property>
 <property>
      <name>dfs.namenode.name.dir</name>      					     <value>(hadoop路径)/tmp/dfs/name</value>
</property>
 <property>
      <name>dfs.datanode.data.dir</name>                      <value>(hadoop路径)p/tmp/dfs/data</value>
</property>

④cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml中configuration加上

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

⑤yarn-site.xml中configuration加上

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>(hostsname)</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

格式化namenode

cd (hadoop路径)/sbin
Hadoop namenode -format

启动hadoop

start-dfs.sh
start-yarn.sh

检验是否启动成功

jps

启动成功应有六个进程

DataNode
Jps
NodeManager
SecondaryNameNode
NameNode
ResourceManager

5.关闭防火墙

systemctl stop firewalld
systemctl disable firewalld.service

6.查看hadoop是否正常运行

登录(ip地址):50070 #HDFS管理界面
(ip地址):8088 #yarn管理界面