安装hadoop

每台主机都要配

[root@master opt]vi /etc/hosts  配置iP与主机名称的对应关系 更改v4ip地址

192.168.61.101   master
192.168.61.102   slave1
192.168.61.103   slave2



检查配置：
1、ip地址检查：

[root@master opt]ip a

2、master机器中：

[root@master opt]ping 192.168.128.101 按Ctrl+z退出

3、[root@master opt]vi /etc/hosts 3台机器都查

4、[root@master opt]ssh slavel

5、hostname查看机器名，设置名:

[root@master opt]hostnamectl set-hostname master

  vi   hdfs-site.xml

 vi   hdfs-site.xml

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/root/hadoop/hadoopname</value>
    <description>名称节点目录地址</description>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/root/hadoop/hadoopdata</value>
    <description>数据节点目录地址</description>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
    <description>数据副本个数</description>
  </property>
  <property>
    <name>dfs.namenode.http.address</name>
    <value>master:50070</value>
  </property>

  vi core-site.xml

   vi core-site.xml



<configuration>

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
    <description>文件系统访问服务地址</description>
  </property>

</configuration>

  vi   hadoop-env.sh

export JAVA_HOME=/opt/java

vi mapred-site.xml   先cp复制

复制    cp mapred-site.xml.template mapred-site.xml



<configuration>

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>master:10020</value>
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>master:19888</value>
</property>


</configuration>

vi  yarn-site.xml

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
  <name>yarn.resourcemanager.address</name>
  <value>master:8032</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:8030</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:8031</value>
</property>
<property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>master:8033</value>
</property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:8088</value>
</property>
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>2048</value>
</property>

vi   slaves

vi slaves

#删除localhost，添加：

slave1

slave2

 新建目录

[root@master hadoop]# mkdir /opt/hadoop/tmp

[root@master hadoop]# mkdir /opt/hadoop/dfs/name -p

[root@master hadoop]# mkdir /opt/hadoop/dfs/data -p

把配置文件复制到slave1和slave2

[root@master opt]      scp -r /etc/profile root@slave1:/etc

                       scp -r /etc/profile root@slave2:/etc

拷贝hadoop安装文件到集群slave节点

                        scp -r /opt/hadoop root@slave1:/opt/

                        scp -r /opt/hadoop root@slave2:/opt/

#执行以下命令让配置环境变量有效
                        source /etc/profile

格式化NameNode

#进入目录

cd /opt/hadoop/bin

#执行格式化

hdfs namenode -format

#结束

hadoop-daemon.sh stop namenode

五.启动集群HDFS启动

1.#进入目录
cd /opt/sbin

#执行启动：

#启动namenode
hadoop-daemon.sh start namenode

#启动datanode
hadoop-daemon.sh start datanode

#启动SecondaryNameNode
hadoop-daemon.sh start secondarynamenode
#启动nodemanager
yarn-daemon.sh start nodemanager
##一键启动
start-all.sh

#显示进程
[hadoop@master hadoop]$ 


2.查看HDFS报告
                hdfs dfsadmin -report        查看HDFS的报告

3.使用浏览器查看节点状态

# 关闭防火墙服务
[root@master ~]# systemctl stop firewalld
                 systemctl disable firewalld


# 设置防火墙服务开机不启动
[root@master ~]# 
        //在浏览器的地址栏输入http://master:50070

#hosts
127.0.0.1 transact.netsarang.com
127.0.0.1 update.netsarang.com
127.0.0.1 www.netsarang.com
127.0.0.1 www.netsarang.co.kr
127.0.0.1 sales.netsarang.com
192.168.61.101 master master.centos.com
192.168.61.102 slave1 slave1.centos.com
192.168.61.103 slave2 slave2.centos.com

 启动hdfs

1.启动HDFS
[hadoop@master hadoop]$     stop-dfs.sh

[hadoop@master hadoop]$     start-dfs.sh

1.在HDFS文件系统中创建数据输入目录 

//确保dfs和yarn都启动成功

[hadoop@master hadoop]$     hdfs dfs -mkdir /input

[hadoop@master hadoop]$     hdfs dfs -ls /


2..将输入数据文件复制到HDFS的/input目录中

[hadoop@master hadoop]$     cat ~/input/data.txt

#执行如下命令，将输入数据文件复制到HDFS的/input目录中：

[hadoop@master hadoop]$    hdfs dfs -put ~/input/data.txt /input

#确认文件已复制到HDFS的/input目录：

[hadoop@master hadoop]$     hdfs dfs -ls /input

3.运行WordCount案例，计算数据文件中各单词的频度

#自动创建的/output目录在HDFS文件系统中，使用HDFS命令查看和操作。

[hadoop@master hadoop]$     hdfs dfs -mkdir /output

#先执行如下命令查看HDFS中的文件：

[hadoop@master hadoop]$     hdfs dfs -ls /