Hadoop伪分布式模式

Hadoop伪分布式模式

伪分布式就是假分布式,假在哪里,假就假在他只有一台机器而不是多台机器来完成一个任务,但是他模拟了分布式的这个过程,所以伪分布式下Hadoop 也就是你在一个机器上配置了hadoop的所有节点。这就是伪分布式.

  1. 伪分布式模式安装和配置步骤:
    1.1 配置hosts文件
    1.2 配置ssh免密码接入
    1.3 环境检测,包括版本兼容性及JDK安装准备
    1.4 载幵解压hadoop安装包
    1.5 配置文件修改
    1.6 修改JAVA_HOME
    1.7 格式化namenode
    1.8 启动hadoop
    1.9 用jps检验各后台进程是否成功启动

搭建为分部环境:

  1. 操作系统环境 centos 6.5 64
    依赖软件 ssh jdk 环境变量 JAVA_HOME 免密钥 时间同步ntp
    主机名 hosts 关闭防火墙
  2. hadoop部署
    修改JAVA_HOME 配置文件(core-site.xml hdfs-site.xml slave文件)
    启动或停止命令
  3. 配置免密码ssh:
    3.1 用ssh-keygen创建公钥用ssh-keygen创建公钥
    输入后,会提示创建.ssh/id_rsa、id_rsa.pub的文件,其中第一个为密钥,第二个为公钥。过程中会要求输入密码,为了ssh访问过程无须密码,可以直接回车 。
    3.2 查看钥匙
    密钥生成后会在当前目录下多出两个文件,id_rsa和id_rsa.pub,其中id_rsa是私钥(这个很重要,不能外泄),id_rsa.pub这个是公钥。
    3.3 把公钥拷贝到需要登录的远程服务器或Linux系统上。
    看看目录下是否有authorized_keys文件没有的话则执行以下命令创建:touch authorized_keys
    执行成功会创建空authorized_keys文件,授予600权限(注意:此处权限必须是600):

ssh-keygen:生成秘钥
其中:
-t指定算法
-f 指定生成秘钥路径
-N 指定密码
RSA 和DSA是一种非对称加解密算法。

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值