hadoop集群安装思路

这几天试了一下集群的完全分布式，首先是用的是Ambari，装到了最后，在Ambari上host confirm出错了，不知道哪里不对了，后面还要看别的教程上还要下好多东西；

在里面装的坑有以下几点：

mysql中创建的Ambari用户和Ambari数据库，Ambari的密码不识别，在ambari-server setup时中log中看见的，还有不能识别主机名hmc，而是要写localhost才好使；

还有安装ambari-server的时候，我首先用的时ubantu手动编译成maven工程，中间有很多步骤，先要wget某个源码包然后mvn，编译完之后的那个clean操作就出错了；

所以用了centos，在公共库里拉出源然后下载，下载成功之后setup就出现了上面的那些情况；我一直以为centos是没有服务器版，结果他是把所有版本合在了一起让你安装的时候选择安装模式和相应的软件的软件；

在使用最简单的方法做集群的时候使用的最多的是主机之间的数据传输 scp 本地  远程主机主机名@主机ip：路径 当然这种方法复制的路径是有限制；

然后就是hadoop配置，其实不需要配置那么麻烦，只需要在core-site.xm中指明Master节点和端口，tmp路径，hdfs-site.xml中指明datanode路径，namenode路径，分片数；mapred-site.xml中指明MR所用的框架为yarn;

yarn-site中指明ResourceManager的主机名，nodemanger的组件混洗，yarn-env.sh中指明JAVA_HOME路径；hadoop-env.sh中指明JAVA_HOME路径，HADOOP_HOME路径；master和slaves的hadoop配置没区别，只是在hadoop/etc/hadoop/slaves文件中要指定slaves的主机名，可以包括master；剩下的就是/etc/profile配置，还有ssh，是将master的 key-keygen -t rsa的结果id_rsa.pub 复制到包括master的所有~/.ssh/的隐藏文件夹中；我配置h1和master好使，但是后来配置h2就还得输入密码，并且启动和ssh时都必须在root用户下；