【Hadoop】一、伪分布式运行模式

1. 虚拟机ip都已配置完成

• [ 克隆的虚拟机，获取静态ip（修改eth0，复制HWADDR）]

• vim /etc/udev/rules.d/70-persistent-net.rules

• [ 修改虚拟机的ip ]

• vim /etc/sysconfig/network-scripts/ifcfg-eth0

• BOOTPROTO=static
  ONBOOT=yes
  IPADDR 获取的物理ip【HWADDR】
  GATEWAY 与windows的VMNET8网关一致
  DNS1 与GATEWAY保持一致

• [ 修改主机名 ]

• vim /etc/sysconfig/network

• [ 增加主机和ip的映射]

• vim /etc/hosts

• [ windows下主机和ip的映射配置 ]

• C:\Windows\System32\drivers\etc\hosts

2. 关闭服务器防火墙

• [ service iptables stop ]

3. 安装jdk，并配置环境变量

• [ pwd 获取绝对路径 ]
• [ sudo vim /etc/profile ]
• [ #JAVA_HOME
• export JAVA_HOME=获取的绝对路径
• export PATH=$PATH:JAVA_HOME/bin ]
• [ source /etc/profile 让修改后的文件生效 ]

4. 安装hadoop，并配置环境变量

• [ pwd 获取绝对路径 ]
• [ sudo vim /etc/profile ]
• [ #HADOOP_HOME
• export HADOOP_HOME=获取的绝对路径
• export PATH=$PATH:JAVA_HOME/bin
• export PATH=$PATH:JAVA_HOME/sbin ]
• [ source /etc/profile 让修改后的文件生效 ]

5. 伪分布式运行模式

   • 配置集群

     • 配置：hadoop-env.sh
       首先，获取绝对路径：echo $JAVA_HOME
       然后，修改JAVA_HOME路径：export JAVA_HOME=获取的绝对路径

     • 配置：core-site.xml

       <!-- 指定HDFS中NameNode的地址 -->
       <property>
       	<name>fs.defaultFS</name>
       	 <value>hdfs://hadoop101:9000</value>
       </property>
       <!-- 指定Hadoop运行时产生文件的存储目录 -->
       <property>
       	<name>hadoop.tmp.dir</name>
       	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
       </property>
       
       

       • 配置：hdfs-site.xml

        <!-- 指定HDFS中NameNode的地址 -->
        <property>
         <name>dfs.replication</name>
          <value>1</value>
        </property>
       

   • 启动集群

     • 格式化namenode（第一次启动时格式化，以后尽量避免格式化）
       bin/hdfs namenode format

     • 启动namenode
       sbin/hadoop-daemon.sh start namenode

     • 启动datanode
       sbin/hadoop-daemon.sh start datanode

   • 查看集群
     jps
     http://hadoop101:50070
     Windows下没有配置主机名称映射则需要通过ip地址访问【hadoop://服务器ip:50070】

6.ping通ip却无法在web端访问
！！！查看服务器防火墙状态，关闭防火墙！！！
！！！Microsoft Edge无法访问时，用Chrome打开web端查看HDFS文件系统！！！
7. 用Chrome仍无法访问时，则需要进行配置检查，从头开始