【hadoop】学习笔记-安装配置

HDFS
1、概念
http://www.cnblogs.com/beanmoon/archive/2012/12/08/2809315.html
http://www.cnblogs.com/beanmoon/archive/2012/11/23/2783966.html。
2、


相比于Hadoop1.0，Hadoop 2.0中的HDFS增加了两个重大特性，HA和Federaion。HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。Federation即为“联邦”，该特性允许一个HDFS集群中存在多个NameNode同时对外提供服务，这些NameNode分管一部分目录（水平切分），彼此之间相互隔离，但共享底层的DataNode存储资源。


http://pan.baidu.com/share/link?shareid=3918641874&uk=2248644272
http://heylinux.com/archives/1980.html
http://heylinux.com/archives/2002.html
Servers:
hadoop-master:10.6.1.150 内存1024M
- namenode,jobtracker;
- secondarynamenode;
- datanode,taskTracker


hadoop-node-1:10.6.1.151 内存640M
- datanode,taskTracker;


hadoop-node-2:10.6.1.152 内存640M
- dataNode,taskTracker;


namenode - 整个HDFS的命名空间管理服务
secondarynamenode - 可以看做是namenode的冗余服务
jobtracker - 并行计算的job管理服务
datanode - HDFS的节点服务
tasktracker - 并行计算的job执行服务


http://www.cloudera.com/content/support/en/documentation.html


sudo apt-get install openssh-server
http://www.cnblogs.com/88999660/articles/1581524.html
cgdc001: 192.168.57.130


rsa passphrase