8.Hadoop的学习(Hadoop的配置--搭建完全分布式)

9 篇文章 0 订阅
9 篇文章 1 订阅

 搭建伪分布式请查看本博客https://blog.csdn.net/wei18791957243   里面的三个搭建伪分布式的博客

  1. 前提是伪分布式可以正常启动。
  2. 点开虚拟机上边的菜单栏中的虚拟机内的快照功能。(快照:可以及时保存当前操作,也就是保存这个节点,等需要的话可以让系统恢复到这个节点上。)
  3. 进入操作系统后:(cd /etc)查看本机名(cat hostname)修改本机名(sudo gedit hostname)修改的时候尽量修改成简单的,后面设置完全分布式的时候会比较方便。如:修改主机名为:hadoop
  4. 修改完之后重新启动
  5. 关闭系统,点击克隆。(克隆的时候选择第2个,创建完整克隆)
  6. 克隆3份,然后依次打开克隆的1,2。(虚拟机在打开的时候会默认给操作系统分配虚拟ip地址。)
  7. 首先分别查看克隆的这2台虚拟机的ip地址
  8. (1)在克隆虚拟机1上面打开命令行,修改主机名为:hadoop-1  ,然后保存

        ( 2)进入到etc目录下修改  passwd文件里面的用户名为ubuntu    如图

                  

   (3) 然后要修改etc里面的hosts文件的权限   : 设置权限为所有的都为rwx     :  执行命令:sudo chmod 777 hosts

    (4)  在第二个克隆机里面修改主机名为:hadoop-2

               并且在执行(2)  修改passwd 文件    ,再执行(3)  修改hosts文件的权限

     (5)两个克隆机都修改完之后,都要重新启动

  9.在主机名为hadoop的虚拟机里面开始配置文件。

    (1)执行命令进入到如下的文件夹     cd /usr/soft/hadoop-2.7.1/etc/hadoop_pseudo/

             进入后修改两个文件  ,  

            修改core-site.xml文件 画红线即为修改后的  如图

          

       修改  hdfs-site.xml     数字2 即有两个克隆机(修改成完全分布式集群需要几个伪分布式,这里填写2)

         

   (2)然后修改文件里面的内容,修改完之后(修改成完全分布式集群需要的集群主机名)如图

          

  (3)切换目录到 /etc下     , (修改hosts文件,在后面加上ip地址 主机名(一个三个))

           给hosts文件后面添加内容,添加完内容之后,查看文件,文件就会如图:

         

    注意:ip的地址和主机名不要添加错了。

   (4)  然后将hosts文件依次拷贝到其他的两个克隆机里面

            执行命令:命令的格式:    

        

      按照我们之前配置好的,

    输入命令:scp /etc/hosts ubuntu@hadoop-1:/etc     给第一个克隆机拷贝

    输入命令:scp /etc/hosts ubuntu@hadoop-2:/etc     给第二个克隆机拷贝

    在输入命令后按照提示输入密码,或者yes!

10 .完成上面的步骤,完全分布式就配置完成了,  

     然后开启完全分布式  ,和开启伪分布式一样

     格式化   hadoop namenode  -format

    然后   ssh localhost   

    然后按照伪分布式的启动方式来启动完全分布式就行了

11.   启动后,输入如下的命令,如图  完全分布式就启动成功了
    

   11.  可一看到节点分别再其他的主机上面了,这样就完成了  完全分布式启动

          关闭完全分布式也是和关闭伪分布式的是一样的·

       

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

还是那个同伟伟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值