Hadoop伪分布式模式
伪分布式就是假分布式,假在哪里,假就假在他只有一台机器而不是多台机器来完成一个任务,但是他模拟了分布式的这个过程,所以伪分布式下Hadoop 也就是你在一个机器上配置了hadoop的所有节点。这就是伪分布式.
- 伪分布式模式安装和配置步骤:
1.1 配置hosts文件
1.2 配置ssh免密码接入
1.3 环境检测,包括版本兼容性及JDK安装准备
1.4 载幵解压hadoop安装包
1.5 配置文件修改
1.6 修改JAVA_HOME
1.7 格式化namenode
1.8 启动hadoop
1.9 用jps检验各后台进程是否成功启动
搭建为分部环境:
- 操作系统环境 centos 6.5 64
依赖软件 ssh jdk 环境变量 JAVA_HOME 免密钥 时间同步ntp
主机名 hosts 关闭防火墙 - hadoop部署
修改JAVA_HOME 配置文件(core-site.xml hdfs-site.xml slave文件)
启动或停止命令 - 配置免密码ssh:
3.1 用ssh-keygen创建公钥用ssh-keygen创建公钥
输入后,会提示创建.ssh/id_rsa、id_rsa.pub的文件,其中第一个为密钥,第二个为公钥。过程中会要求输入密码,为了ssh访问过程无须密码,可以直接回车 。
3.2 查看钥匙
密钥生成后会在当前目录下多出两个文件,id_rsa和id_rsa.pub,其中id_rsa是私钥(这个很重要,不能外泄),id_rsa.pub这个是公钥。
3.3 把公钥拷贝到需要登录的远程服务器或Linux系统上。
看看目录下是否有authorized_keys文件没有的话则执行以下命令创建:touch authorized_keys
执行成功会创建空authorized_keys文件,授予600权限(注意:此处权限必须是600):
ssh-keygen:生成秘钥
其中:
-t指定算法
-f 指定生成秘钥路径
-N 指定密码
RSA 和DSA是一种非对称加解密算法。