安装Hadoop,启动hadoop(每次都用),设置免密码登陆

本文详细介绍了在Ubuntu系统上安装Hadoop的步骤,包括解压Hadoop包,配置伪分布式环境,设置环境变量,初始化HDFS,启动Hadoop服务,配置SSH免密码登录等关键操作。此外,还涉及到HDFS、MapReduce和YARN的管理界面验证,以及如何测试HDFS和MR功能。
摘要由CSDN通过智能技术生成
安装hadoop2.2.0

          1、上传一个Hadoop包


          2、解压Hadoop包
               mkdir /itcast根目录下创建一个文件,以后Hadoop统一放入其中

               tar -zxvf hadoop-2.2.0-64bit.tar.gz -C /itcast/  (解压到指定目录)


         3、配置hadoop伪分布式

                 cd /itcast/用ls查看是否有hadoop-2.2.0,然后查看其中的目录结构

                cd hadoop-2.2.0/  用ls查看:

                          *bin中存放可执行脚本,sbin存放启动停止相关的,etc存放配置文件

                cd /itcast/hadoop-2.2.0/etc/hadoop/

               指定pwd复制目录 /itcast/hadoop-2.2.0/etc/hadoop


                  修改配置文件(5个)

                 第一个、vim hadoop-env.sh 

                #第27行

                 export JAVA_HOME=/usr/java/jdk1.7.0_79

                 第二个: vim core-site.xml

                文件中插入一行 

      <configuration>

             <!--用来指定HDFS的老大(NameNode)的地址 -->
            <property>
                 <name>fs.defaultFS</name>                    (filesystem默认地址)
                 <value>hdfs://itcast01:9000</value>            (hdfs://主机名+端口 )

                                                               (如果没有配置主机名可以写localhost 127.0.0.1或者192.168.8.88)
            </property>


            <!-- 用来指定Hadoop运行时产生文件的存放目录 -->
            <property>
                  <name>hadoop.tmp.dir</name>
                  <value>/itcast/hadoop-2.2.0/tmp</value>


            </property>
       </configuration>


          第三个:hdfs-site.xml

       <configuration>

               <!-- 指定HDFS保存数据副本的数量 -->
              <property>
                     <name>dfs.replication</name>
                     <value>1</value>
              </property>
        </configuration>


          第四个、vim mapred-site.xml

           mv mapred-site.xml.template mapred-site.xml

               (重命名,原来之前只有mapred-site.xml.template,没有配置文件mapred-site.xml

  • 3
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值