Hadoop配置小结

配置Hadoop环境有几天了，虽说“装”了Ubuntu有两年了，不过这次用硬盘安装还是把系统搞崩溃了，而且是在装Ubuntu之前分盘时弄崩溃了，而且是因为搬电脑时震了一下，然后又采取了很不明智的解决方法——还原系统，而且还一不小心还原了整个盘，200多G的东西瞬间没了，就为了分20G的东西出来装Ubuntu，而且是我好不容易挤出来的20G啊。我的壁纸都有好几G啊，我的音乐也有几十G啊，我保留了好久的演唱会舍不得删啊，虽然这跟主题无关，但我还是不得不吐啊。

 

吐完回归正题，如果有跟我一样的新手的话，可以看一下，希望能帮上忙。

 

在Ubuntu下配置Hadoop的步骤其实很简单

 

1，安装Ubuntu

2，安装配置JDK

3，配置ssh

4，剩下就是安装配置hadoop了

 

安装教程网上很多，在这里就不重复了。

这几天一直照着网上的教程，敲了很多不懂的命令，多亏了其他几位已经装过hadoop的同学，遇到的问题都能很快解决，今天是配置好了hadoop集群，明天就可开始测试了。不过今天先小结，有的命令用过很多次了，虽然知道是什么用，也只是知其然，下面总结一下在配置时用到的命令和一些问题

 

sudo 是linux系统管理指令，是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具

 

apt-get   是一条linux命令，适用于deb包管理式的操作系统，主要用于自动从互联网的软件仓库中搜索、安装、升级、卸载软件或操作系统

 

ssh-keygen 用来生成密钥和私钥文件，如果把a的密钥添加到b的authorized_keys中，那么a就可以登录b的目标帐号，不用输入密码，配置hadoop时，要让master能控制slave机器，所以要把master的密钥复制到所有的slave机器

 

scp 是用来远程复制文件，配置ssh时就是把master机器的密钥复制到slave机器上 scp master@masterIP:/home/master/.ssh/id_rsa.pub  /home/slave/.ssh/masterNo_rsa.pub

 

 

cat  把文档或字符串打印或合并添加到另一个文件，我就是在添加密钥时不小心少打了一个">"覆盖掉了之前添加的密钥。一个是直接输入到另一个文件，两个是添加到文件末。cat masterNo_rsa.pub >> authorized_keys

 

 

这样就可以在master机器来控制slave机器了，那么这样的话其实先在每台机器上配置好ssh，然后写个脚本来循环控制每台机器配置jdk和hadoop（如果之前没装的话），这样的话就不用每台机器去配置了。

 

vi 是所有linux都会有的编辑器，因为老是遇到gtk warning，现在还没弄清楚这个问题，用vi 还是比较直接的方法。