Hadoop1.x之hdfs集群搭建

搭建Hadoop1.x,hdfs所总结的记录,因为知识和经验不足,里面的错误和不清楚的地方请您多多包含,如果有疑问评论我一定会及时回复。

1. 准备三台以上的机Linux(node1,node2,node3...),这是我的主机版本

164415_TdhZ_3696405.png

2. 相互ping通,最好配置hosts的ip和主机名映射

164115_lee9_3696405.png

3. 时间一定要一致(date命令查看)

4. 所有主机之间可以ssh免密码登陆

5. 所有的机器上要安装合适的JDK,并配置好JAVA_HOME,CLASS_PATH,PATH这些变量,我配置在了/etc/profile中,也可以配置在 ~/.bash_profile,这两个目录文件都可以配置路径和环境变量。

配置如下:确保所有机器有一样合适的JDK

162256_rg0w_3696405.png

6. 关闭防火墙(所有主机)

7. 把hadoop(我安装的是hadoop-2.5.1)解压在某个目录下,开始配置文件

8. 在/hadoop-2.5.1/etc/hadoop/hadoop-env.sh中  配置JAVA_HOME,在这个文件中找到写JAVA_HOME的位置,在把自己本机的JAVA_HOME写上。

162340_eoe2_3696405.png

9. 在相同的目录下打开 (vi core-site.xml),这里配置两个变量,一个用来指定文件系统访问的方式和位置(namenode),一个用来指定hadoop工作空间位置。这个位置可以不用手动创建文件夹,格式化之后会自动创建。

162509_gQvs_3696405.png

10. 配置hdfs-site.xml,这个用来指定通过浏览器访问secondaryNameNode时的端口,具体看下面的。

这个配置好之后,开启hadoop可以通过浏览器IP加下面的端口访问secondaryNameNode,一个是http协议的一个是https协议的。但请注意,如果要访问NameNode时,端口号是50070(默认配置的,也可手更换).

162607_KcbD_3696405.png

11. 配置slaves(奴隶)文件,也在相同的目录下,这个文件中指定dataNode的主机,一行写一个主机,可以写主机名,也可以写IP,前提是要有hosts的映射文件。下面就是我的三台主机。

162835_fxlr_3696405.png

12. 配置masters,这个文件需要自己创建,这个文件中指定secondaryNameNode的主机,在同目录下创建。

162900_zTfD_3696405.png

13. 注意上面配置,不要写错,配置好之后,通过scp -r 命令把整个hadoop安装目录,发送到其它几台主机上,在其它主机上的位置要和这台主机的位置一模一样。

14. 为了以后方便直接在任何位置敲hadoop的命令,我们配置一下hadoop的环境变量,就像配置Java环境变量的目的一样。这个变量可以配置在~/.bash_profile(“~”对应的用户可以使用)或者配置在/etc/profile(所有用户都可以使用)中。

163006_Hx3q_3696405.png

15. 然后在把配置环境变量的文件通过scp -r 命令拷贝到其它机器的相同位置上。

16. 开始在nameNode上格式化!命令:hdfs namenode -format   注意:等待格式化完成,没有出现意外的话(格式化状态代码返回为:0),就会生成上面(9.步)配置的那个hadoop工作目录这个目录下的dfs/name/current中存放下面的这些东西,看到fsimage了吗?(不要纠结我有多个,因为我不是第一次运行hdfs了。)

163206_1Yyj_3696405.png

17. 启动hdfs,命令:start-dfs.sh,正常启动见下图:看到了吗,很清楚的写明了namenode,datanode,secondarynamenode是哪几台机器。

163248_JU5k_3696405.png

18. 可以通过jps命令查看当前主机启动的java程序,如下:说明我启动了JPS和NameNode的java程序。(这样理解可能不准确,自己上网查查)

163347_Cx5O_3696405.png

19. 通过浏览器访问,nameNode,访问nameNode的主机+端口(50070):我的即是192.168.1.111:50070,页面如下:(说明就hdfs初步搭建告成!)

163329_9PDd_3696405.png

20 .访问secondaryNameNode:主机+端口(50090或者50091(https)):我的是192.168.1.112:50090

163441_tNSx_3696405.png

搭建完成,多台机器搭建其实很简单的,其本质就是一个简单的文件系统,我们常用的文件系统有windowsNTFS,linux的树状文件系统等

可以使用:关闭hdfs的命令:stop-all.sh。

转载于:https://my.oschina.net/u/3696405/blog/1542525

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值