Linux搭建Hadoop框架简单步骤

Linux搭建Hadoop框架简单步骤

1.新建一个用户，切换到当前用户

2.上传hadoop-2.9.2.tar.gz 安装包，解压

3.解压完成，修改文件的拥有者 chown 改为当前用户

4.配置主机名

            hostname为自己的主机名 需要配置  vim /etc/sysconfig/network
            配置完成需要重启虚拟机或者设置一个暂时的全局变量hostname xxx  
            查看  hostname
             配置本地DNS映射 vim /etc/hosts IP地址 主机名
             测试：ping 主机名 返回主机IP的地址则设置成功
             
  5.进入目录，修改配置文件  cd hadoop-2.9.2/etc/hadoop/
  
*  修改 core-site.xml
                <property>
                        <name>fs.defaultFS</name>
                        <value>hostname:9000</value>
                </property>
*  修改   hdfs-site.xml
				 <property>
                        <name>dfs.replication</name>
                        <value>1</value>
                </property>
* 修改  yarn-site.xml
    <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
     </property>
* 修改  mapred-site.xml
        首先要重命名一下mapred-site.xml.template 改为mapred-site.xml
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
     </property>
     
6.配置Hadoop中的Java环境变量

    vim hadoop-env.sh
            export JAVA_HOME=自己的jdk路径
            
7.初始化namenode   bin/hdfs namenode -format 

        若以前完成过初始化，删除/tmp/hadoop-用户名  这个文件
        
8.设置ssh免密登录

        1. 在用户主目录下找到.ssh目录：
              cd ~
              ll -a
        2. 进入.ssh目录，生成公钥和私钥（若没有.ssh目录 直接执行）
                  ssh-keygen -t rsa
        3. 拷贝公钥至远程主机或本机authorized_keys文件
                ssh-copy-id <主机名>

9.开启服务 sbin/start-all.sh 或者 sbin/start-dfs.sh && sbin/start-yarn.sh