大数据学习笔记(十五)-- hadoop伪分布式版部署

伪分布式也可以成为单机版，意思就是说 hadoop集群中的所有角色均在一台机器上配置。

hadoop是java编写的所以需要jvm去执行也就是需要jdk，当机器多了以后我们跑到每一台电脑上去进行配置非常麻烦，hadoop为我们准备了脚本，我们执行脚本去登录别的机器的账号，就可以完成相应的配置。脚本不会访问etc下的profile文件。所以我们要在脚本中也配置jdk的路径和jkd下bin目录的路径。至于ssh 就是远程登录时使用的传输协议。毕竟ssh有公钥和私钥，对于这种用户名和密码高度机密的安全性还是有保证的。

搭建步骤思路

一：操作系统环境

  - 依赖软件ssh、jdk

  - 环境的配置 

       · java_home

       · 免密钥

   - 集群时间同步

   - hosts,hostname

二：hadoop部署

   - /opt/hadoop

   - 配置文件修改

       · java_home

   - 角色在哪里启动

具体搭建步骤

jdk使用的是 jdk-7u67-linux-x64.rpm  

rpm -i jdk-7u67-linux-x64.rpm 
cd /usr/java/jdk1.7.0_67

在profile文件中配置环境变量 

vi /etc/profile   

最后两行加上如下内容

export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin

执行脚本，并使用jps命令查看java进程

. /etc/profile
jps

使用ssh 登录 localhost然后再退出，这步不做 root目录下没有 .ssh 文件，想要查看.ssh需要用 ll -a ,该文件是隐藏的

ssh loc