关于Ubuntu16.04下hadoop集群的安装与配置(伪分布式版)为什么要实现SSH免密登陆

 

 

在搭建Linux集群服务的时候,主服务器需要启动从服务器的服务,如果通过手动启动,集群内服务器几台还好,要是像阿里1000台的云梯Hadoop集群的话,轨迹启动一次集群就得几个工程师一两天时间,是不是很恐怖。如果使用免密登录,主服务器就能通过程序执行启动脚步,自动帮我们将服务器的应用启动。而这一切就是建立在ssh服务的免密码登录之上的。所以要学习集群部署,就必须了解linux的免密码登录。

三台虚拟机SSH免密登陆:https://blog.csdn.net/qq_30158837/article/details/78323818

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是Ubuntu 16.04安装Hadoop的步骤: 1. 首先,确保您的系统已经安装了Java。您可以使用以下命令检查Java是否已安装: ``` java -version ``` 如果Java未安装,则可以使用以下命令安装: ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 下载Hadoop。您可以从Hadoop官方网站下载最新本的Hadoop。下载完成后,将文件解压缩到您选择的目录中。 3. 配置Hadoop。打开Hadoop配置文件(位于解压缩文件夹中的/etc/hadoop目录下),并进行以下更改: - core-site.xml:在<configuration>标签中添加以下内容: ``` <property> <name>fs.defaultFS</name> <value>hdfs://localhost:900</value> </property> ``` - hdfs-site.xml:在<configuration>标签中添加以下内容: ``` <property> <name>dfs.replication</name> <value>1</value> </property> ``` - mapred-site.xml:将mapreduce.framework.name属性设置为yarn: ``` <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> ``` - yarn-site.xml:在<configuration>标签中添加以下内容: ``` <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> ``` 4. 格式化Hadoop文件系统。在终端中运行以下命令: ``` hdfs namenode -format ``` 5. 启动Hadoop。在终端中运行以下命令: ``` start-all.sh ``` 这将启动Hadoop的所有服务。 6. 检查Hadoop是否正在运行。在终端中运行以下命令: ``` jps ``` 如果您看到以下进程,则表示Hadoop正在运行: ``` NameNode DataNode SecondaryNameNode ResourceManager NodeManager Jps ``` 恭喜您,现在已经成功安装和配置Hadoop

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值