Hadoop的学习前奏(二)——Hadoop集群的配置

原创 2015年07月24日 19:17:58

前言:

  Hadoop集群的配置即完全分布式Hadoop配置。


笔者的环境:

  Linux:  CentOS 6.6(Final) x64
  JDK:    java version "1.7.0_75"
          OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 u75-b13)
          OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)
  SSH:    OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013
  Hadoop: hadoop-1.2.1


步骤:

注:本文的实验是基于伪分布式Hadoop环境的。这里默认你的系统已经可以安装伪分布式的Hadoop了。如果你的系统还不能安装伪分布式Hadoop,请参考《Hadoop的学习前奏——在Linux上安装与配置Hadoop》一文完成配置。


1.首先在三台主机上创建相同的用户


2.在三台主机上分别设置/etc/hosts和/etc/hostname

  $ vim /etc/hosts

  

  $ vim /etc/hostname

  


3.在这三台主机上安装OpenSSH,并配置SSH可以免密码登录。

  关于在单机上进行免密码登录的部分,我在上一篇博客中有详细说明。如果你的配置出了问题以致无法免密码登录,上一篇博客中有具体的做法,这里不再赘述。

  将master中的authorized_keys复制给两台slave,做法如下:

  $ scp authorized_keys slave1:~/.ssh/

  $ scp authorized_keys slave2:~/.ssh/


4.配置三台主机的Hadoop文件。

  $ vim core-site.xml

  


  $ vim hdfs-site.xml

  


  $ vim mapred-site.xml

  


  $ vim masters

  


  $ vim slaves

  

  至此,Hadoop的配置已基本完成,你可以通过


5.启动Hadoop

  bin/hadoop namenode -format

  bin/start-all.sh


6.验证

  你可以通过以下命令或是通过访问http://master:50030和http://master:50070查看集群状态

  hadoop dfsadmin -report


版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u013761665/article/details/46987673

Hadoop入门第四篇:手动搭建自己的hadoop小集群

前言   好几天没有更新了,本来是应该先写HDFS的相关内容,但是考虑到HDFS是我们后面所有学习的基础,而我只是简单的了解了一下而已,后面准备好好整理HDFS再写这块。所以大家在阅读这篇文章之前,...
  • ogog123
  • ogog123
  • 2017年08月19日 13:33
  • 323

Hadoop 2.7.2 最小集群搭建

猫哥根据自身经验和踩过的坑,教你一步一步搭建一个原生态hadoop最小化集群(1 master,2 slave)。...
  • 972301
  • 972301
  • 2017年03月22日 20:43
  • 992

[hadoop]成功搭建Hadoop集群后简单实验

1>  检查对HDFS的访问(在namenode上操作)        #./hadoop-0.20.2/bin/hadoop fs -ls 2>  hadoop中的文件系统操作        ...
  • kakane
  • kakane
  • 2013年02月22日 14:04
  • 3398

Hadoop(二)---Hadoop集群的安全设置

配置hadoop的安全模式
  • Wee_Mita
  • Wee_Mita
  • 2016年12月30日 19:48
  • 1834

Hadoop集群搭建之SSH无密码登录配置

一、准备工作 1) 用客户端工具(ssh client或者putty)连接到linux服务器。在root用户下输入命令: vi /etc/hosts ,用vi编辑hosts文件,如下: #12...
  • clerk0324
  • clerk0324
  • 2016年06月30日 14:34
  • 827

UBUNTU环境安装hadoop集群

UBUNTU环境 ubuntu-16.10-desktop-amd64.iso 虚拟机使用VMWare 12.5.2,可以把窗口关闭后台运行,VirturelBox每一个虚拟机启动后都弹出来一个新...
  • aptweasel
  • aptweasel
  • 2017年03月10日 17:29
  • 322

hadoop集群环境安装中的hosts 配置问题

今天在安装hadoop集群的时候,所有节点配置完毕,发现执行下面的命令的时候hadoop@name-node:~/hadoop$ bin/hadoop fs -lsname节点会报如下错误:11/04...
  • singno116
  • singno116
  • 2011年04月02日 17:49
  • 4342

hadoop集群优化之内存设置

hots http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/...
  • wodeyuer125
  • wodeyuer125
  • 2014年05月12日 09:37
  • 753

windows下搭建hadoop集群

1. 安装虚拟机配置网络, 本教程是基于centos下进行的 2.改Hadoop节点的名字     sudo vi /etc/sysconfig/network 3.将节点名字和ip地址进行...
  • suifengdechen
  • suifengdechen
  • 2017年09月08日 16:08
  • 310

hadoop搭建过程中设置NTP时间服务器

hadoop搭建过程中,必须保证集群内所有主机的时间同步,由于手册中的设置方法略显复杂,以下为一个简单的配置方法: **把hadoop01.com 这台服务器配置为时间服务器 **其他服务器...
  • slibra_L
  • slibra_L
  • 2017年08月30日 15:04
  • 518
收藏助手
不良信息举报
您举报文章:Hadoop的学习前奏(二)——Hadoop集群的配置
举报原因:
原因补充:

(最多只允许输入30个字)