Hadoop in Action 翻译 第二章续2(介绍分布式部署)

之前持续关注分布式存储和分布式计算,现在是建立完整集群的时候了.在这一节,我们将使用下面的服务器名:

1.       master--- 主节点,主要用来运行NameNode和JobTracker服务.

2.       backup --- 用来运行Secondary NameNode服务.

3.       hadoop1,hadoop2,hadoop3…---运行DataNode和TaskTracker的从节点.

修改之前伪分布式的骨架来配置这个分布式模式 .

复制所有这几个配置文件到所有的从服务器上,并且保证所有的从服务器的hdfs都格式化了. 

hdfs-site.xml

<? xml version=”1.0” ?>
<? xml-stylesheet type=”text/xsl” href=”configuration.xsl” ?>
<!--  Put site-specific property overrides in this file.  -->
< con figuration >
< property >
  < name > dfs.replication </ name >        
  < value > 3 </ value >        
  < description > The actual number of replications can be specifi ed when the
 file is created. </ description >
</ property >
</ configuration >

 

 

core-site.xml

<? xml version=”1.0” ?>
<? xml-stylesheet type=”text/xsl” href=”confi guration.xsl” ?>
<!--  Put site-specifi c property overrides in this fi le.  -->
< con fi guration >
< property >
  < name > fs.default.name </ name >       
  < value > hdfs://master:9000 </ value >      
  < description > The name of the default fi le system. A URI whose
 scheme and authority determine the FileSystem implementation. 
  </ description >
</ property >
</ confi guration >

 

 mapred-site.xml

<? xml version=”1.0” ?>
<? xml-stylesheet type=”text/xsl” href=”configuration.xsl” ?>
<!--  Put site-specific property overrides in this file.  -->
< con figuration >
< property >
  < name > mapred.job.tracker </ name >       
  < value > master:9001 </ value >       
  < description > The host and port that the MapReduce job tracker runs
 at. </ description >
</ property >
</ configuration > 

此配置的重点是master服务器的名称一定要确保正确。

转载于:https://www.cnblogs.com/wxblogweb/archive/2011/01/27/hadoop_in_action_2-2.html