hadoop集群启动（基础篇）

hadoop集群

1. centos安装及网络配置
   – 虚拟机安装以在之前出过博客 点击链接
   – 以及网络配置 点击链接

2. jdk安装
   – jdk环境安装会单独出一篇博客

3. hadoop安装
   – hadoop单独出一片博客

4. 修改hosts文件

   vi /etc/hosts
   #添加以上字段 前面为ip地址 后面为hostname(方便记忆)
   

5. 克隆虚拟机并修改各自ip地址

6. 修改hostname

   	vi /etc/hostname
   	# 修改为相应的hostname
   	# 比如hadoop151
   	# :wq保存
   

7. 集群配置

8. hadoop集群配置

   • 配置hadoop脚本文件中jdk路径

     # hadoop-env.sh
     	pwd(查看当前路径)                                                                           
     	/opt/module/hadoop-2.9.2
     	
     	vim etc/hadoop/hadoop-env.sh
     	#修改java_home The java implementation to use.
     	export JAVA_HOME=[你的jdk安装路径]
     

     

     # yarn-env.sh
     # 修改同上如下图
     

     

     # mapred-env.sh
     # 修改同上
     

     
   • 配置hadoop集群配置

     # vim etc/hadoop/core-site.xml (核心配置文件)
     
     <configuration>
     	<!-- 指定dnfs中nameNode地址 -->
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://hadoop151:9000</value>
         </property>
         <property>
             <name>hadoop.tmp.dir</name>
             <value>/opt/module/hadoop-2.9.2/data/tmp</value>
         </property>
     </configuration>
     

     # vim etc/hadoop/hdfs-site.xml (hdfs配置)
     
     	<configuration>
     	        <!-- 指定hdfs副本数量 -->
     	    <property>
     	        <name>dfs.replication</name>
     	        <value>3</value>
     	    </property>
     	
     	    <property>
     	        <name>dfs.namenode.secondary.http-address</name>
     	        <value>hadoop153:50090</value>
     	    </property>
     	</configuration>
     

     # vim etc/hadoop/yarn-site.xml (yarn配置)
     
     <configuration>
     	<!-- Site specific YARN configuration properties -->
         <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
         </property>
         <property>
             <name>yarn.nodemanager.env-whitelist</name>
             <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
         </property>
     
         <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>hadoop152</value>
         </property>
     </configuration>
     

     # vim etc/hadoop/mapred-site.xml (mapreduce配置)
     <configuration>
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
         </property>
         <property>
             <name>mapreduce.application.classpath</name>
             <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
         </property>
     </configuration>
     

   ** 配置完成 **

9. 分发配置到各虚拟机

10. 单点启动

    • 删除数据和日志文件

      pwd(查看当前目录确保没有删错文件)
      /opt/module/hadoop-2.9.2
      rm -rf logs data(删除这两个文件夹)
      

    • 格式化文件系统

      bin/hdfs namenode -format (每台都要执行) (会生成data 和 logs文件夹)
      

      出现如下图所示字段表示格式化成功
      

    • 各主机启动相应服务(具体启动查看下图)
      

      # hadoop151
      sbin/hadoop-daemon.sh start namenode (启动datanode)
      sbin/hadoop-daemon.sh start namenode (启动namenode)
      jps (查看启动了那些服务)
      

      效果

      # hadoop152 
      # 删除logs data文件 格式化文件系统
      
      sbin/hadoop-daemon.sh start datanode 
      

      效果

      # hadoop153
      
      sbin/hadoop-daemon.sh start datanode
      sbin/hadoop-daemon.sh start secondarynamenode 
      

      效果
      ** 搭建完成 **

    • 访问http://192.168.137.151:50070/ 查看效果（ip为开启namenode服务的虚拟机ip)