hadoop伪分布式集群ssh免密码登录

来配置我们的ssh无密码登录到slave1和slave2上

1.    首先检查每个虚拟机是否安装了ssh和启动了sshd服务


如果没有安装的话要执行以下代码

这个命令要在root下运行,因为hadoop用户还没有这个权限

这个命令是安装ssh的客户端和服务端

2.  然后我们切换到hadoop用户下,运行ssh localhost命令,这个命令会生成 .ssh隐藏文件夹,遇到提示就输入yes

3. 我们要进.ssh文件生成ssh密钥


因为我们只有一台机器,所以以上步骤可以直接缩写为一下这句ssh-copy-id,

然后我们关闭防火墙 和seliunx,这里要切换到root用户下,

切换到root用户
关闭selinux
    临时关闭
      setenforce 0
    永久关闭
      vi /etc/seliunx/config
    修改
      SELINIX=disabled

关闭防火墙
   临时关闭
        systemctl stop firewalld
   永久关闭
        systemctl disable firewalld

查看防火墙状态:systemctl status firewalld


4. 退出管理员用户

执行hdfs文件系统格式化
要在hadoop用户下 hdfs namenode -format

只要状态为0就成功

开启我们的dfs.sh,看下我们开启了几个节点,伪分布式是1台计算机扮演多个角色,一般会看到以下五个节点Namenode 、SecondaryNameNode、 DataNode、ResourceManager、 NodeManager,不过并没有这个多个,只要开启了最主要的namenode还有datanode就可以用了,然后我们就可以去网上看了

5. 然后我们就可以看我们的hadoop了,因为我们之前在Windows中修改了hosts文件,所以我们这里直接输python2:50050,就可以登录到hadoop了


  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
配置Hadoop分布式集群,可以按照以下步骤进行操作: 1. 安装和配置Java:确保机器上已经安装了Java Development Kit (JDK)。可以通过运行`java -version`命令来验证Java是否已安装。 2. 下载Hadoop:从Apache Hadoop官方网站(https://hadoop.apache.org/)下载所需版本的Hadoop。选择适合你的操作系统和需求的版本。 3. 解压缩Hadoop:将下载的Hadoop压缩包解压到一个适当的位置,例如`/opt/hadoop`。 4. 配置环境变量:编辑`~/.bashrc`文件并添加以下行来设置Hadoop的环境变量: ``` export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 保存文件后运行`source ~/.bashrc`使修改生效。 5. 配置Hadoop:以下是一些关键配置文件的说明: - `core-site.xml`:配置Hadoop核心参数,如文件系统、端口和日志路径等。 - `hdfs-site.xml`:配置HDFS(分布式文件系统)相关参数,如副本数量、数据块大小和数据目录等。 - `mapred-site.xml`:配置MapReduce相关参数,如任务跟踪器和任务分配器等。 - `yarn-site.xml`:配置YARN(资源管理器)相关参数,如资源分配、应用程序调度和容器管理等。 根据你的需求和集群规模,修改以上配置文件中的属性值。 6. 配置主机名映射:在每台机器的`/etc/hosts`文件中,将本地主机名(如`localhost`)映射到本地IP地址(如`127.0.0.1`)。这样可以确保每台机器能够通过主机名相互访问。 7. 配置SSH免密登录:为了在集群中进行节点间的通信,需要配置SSH免密登录。使用`ssh-keygen`生成密钥对,并将公钥分发到所有节点的`~/.ssh/authorized_keys`文件中。 8. 格式化HDFS:在单个节点上运行以下命令来格式化HDFS: ``` hdfs namenode -format ``` 9. 启动Hadoop分布式集群:运行以下命令来启动Hadoop分布式集群: ``` start-dfs.sh start-yarn.sh ``` 10. 验证集群:使用Hadoop自带的命令行工具(如`hdfs dfs -ls /`)来验证集群是否正常工作。你还可以通过Web界面(如http://localhost:50070)来查看Hadoop集群的状态和信息。 这些步骤将帮助你配置一个Hadoop分布式集群,让你能够在单个机器上模拟分布式环境进行开发和测试。根据需要,你可能还需要进行其他设置和调整。可以参考Hadoop官方文档和相关资源,以获取更详细的配置指南和实践建议。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值