摸鱼大数据——Linux搭建大数据环境(集群免密码登录和安装Hadoop)二

于 2024-05-14 18:15:00 发布
阅读量817 收藏 17
点赞数 35
文章标签： 大数据 linux hadoop hive zookeeper sql big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_65694308/article/details/138836332
版权

集群设置免密登录

克隆node1虚拟机的前置条件：node1虚拟机存在且处于关闭状态

1.克隆出node2虚拟机

1.node1虚拟机: 右键 -> "管理" -> "克隆"

2.图形化弹窗中: "下一页"->"下一页"->选择"创建完整克隆"再"下一页"->填写"node3和对应位置"再点击"完成"

3.node3虚拟机: 右键 -> "设置" -> "NAT模式" -> "高级" -> "生成"Mac地址再'确定' -> 最后点击"确定"

node3基础配置

  • 修改ip地址

[root@node1 /]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 注意此操作是在node3中修改ip地址
IPADDR="192.168.88.103"

  • 修改主机名

[root@node1 ~]# vim /etc/hostname 
# 注意此操作是在node3中修改主机名
node3

  • 重启虚拟机

[root@node1 ~]# reboot

  • 查看配置是否生效

[root@node3 ~]# ifconfig

3.CRT操作所有会话

SecureCRT软件: "查看 "- >  选择"交互窗口" -> 右键选择"发送交互到所有会话"

4.设置免密登录

  • 三台虚拟机都生成公钥和私钥

    输入命令(注意需要三次回车操作): ssh-keygen

    三台虚拟机都执行完命令后,在 /root/.ssh 中会自动生成两个文件: id_rsa 和 id_rsa.pub

  • 分别拷贝公钥给其他虚拟机

    输入命令(注意需要输入yes和密码): ssh-copy-id node1
输入命令(注意需要输入yes和密码): ssh-copy-id node2
输入命令(注意需要输入yes和密码): ssh-copy-id node3

  • 测试免密登录

    输入命令(注意此时会直接登录成功): ssh node1
输入命令(注意此时会直接登录成功): ssh node2
输入命令(注意此时会直接登录成功): ssh node3

安装hadoop软件

1.上传软件

使用CRT等客户端远程上传 hadoop-3.3.0-Centos7-64-with-snappy.tar.gz文件到/export/software目录下

2.解压软件

[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server/

3.添加环境变量

[root@node1 software]# vim /etc/profile
# 把如下内容复制到profile文件的最后,注意:记得保存并退出wq
# 小技巧 : 按G + o快速到文件末尾
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  • 修改完后重启生效

[root@node1 server]# source /etc/profile

4.1修改配置文件[自动方式]

上传文件

使用CRT等客户端远程上传 配置好的文件压缩包hadoop-config.tar文件到/export/software目录下

解压文件
[root@node1 ~]# cd /export/software/
[root@node1 software]# tar -xvf hadoop-config.tar -C /export/server/
覆盖原有文件
[root@node1 software]# mv -f /export/server/hadoop-config/* /export/server/hadoop-3.3.0/etc/hadoop/
[root@node1 software]# rm -rf /export/server/hadoop-config*  

4.2配置文件详解[手动方式]

需要进入/export/server/hadoop-3.3.0/etc/hadoop目录下修改如下配置文件

  • hadoop-env.sh : 文件中设置的是Hadoop运行时需要的环境变量

  • core-site.xml : hadoop的核心配置文件,如果在core-site.xml里没有配置的属性,自动会获取core-default.xml 里的相同属性的值

  • hdfs-site.xml : HDFS的核心配置文件,如果在hdfs-site.xml里没有配置的属性,会自动会获取hdfs-default.xml里的相同属性的值

  • mapred-site.xml : MapReduce的核心配置文件,如果在mapred-site.xml里没有配置的属性,会自动会获取mapred-default.xml里的相同属性的值

  • yarn-site.xml : YARN的核心配置文件,如果在yarn-site.xml里没有配置的属性,会自动会获取yarn-default.xml里的相同属性的值

  • workers : 文件中记录集群的主机名。主要配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动

①hadoop-env.sh文件
[root@node1 hadoop]# vim hadoop-env.sh
# 在55行添加JAVA_HOME,因为Hadoop把当前的执行环境当成远程服务器,所以需要重新配置下
export JAVA_HOME=/export/server/jdk1.8.0_65
# 在440行文件末尾添加以下内容
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
② core-site.xml文件
[root@node1 hadoop]# vim core-site.xml
<!-- 在文件的<configuration></configuration>的标签中添加以下内容:  -->
<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://node1:8020</value>
</property>
​
<!-- 设置Hadoop本地保存数据路径 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/export/data/hadoop-3.3.0</value>
</property>
​
<!-- 设置HDFS web UI用户身份 -->
<property>
  <name>hadoop.http.staticuser.user</name>
  <value>root</value>
</property>
​
<!-- 整合hive 用户代理设置 -->
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>
​
<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>
​
<!-- 开启垃圾桶机制[可选操作] 1440 表示1440分钟也就是24小时一天的时间-->
<property>
   <name>fs.trash.interval</name>
   <value>1440</value>
</property>
③ hdfs-site.xml文件
[root@node1 hadoop]# vim hdfs-site.xml
<!-- 在文件的<configuration></configuration>的标签中添加以下内容:  -->    
    <!-- 指定secondarynamenode运行位置 -->
    <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>node2:9868</value>
    </property>
④ mapred-site.xml文件
[root@node1 hadoop]# vim mapred-site.xml
<!-- 在文件的<configuration></configuration>的标签中添加以下内容:  -->  
    <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>
​
<!-- MR程序历史服务器端地址 -->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>node1:10020</value>
</property>
​
<!-- 历史服务器web端地址 -->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>node1:19888</value>
</property>
​
<property>
 <name>yarn.app.mapreduce.am.env</name>
 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
​
<property>
 <name>mapreduce.map.env</name>
 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
​
<property>
 <name>mapreduce.reduce.env</name>
 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
⑤ yarn-site.xml文件
[root@node1 hadoop]# vim yarn-site.xml
<!-- 在文件的<configuration></configuration>的标签中添加以下内容:  -->    
    <!-- 设置YARN集群主角色运行机器位置 -->
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>node1</value>
</property>
​
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
​
<!-- 是否将对容器实施物理内存限制 -->
<property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
</property>
​
<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
</property>
​
<!-- 开启日志聚集 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
​
<!-- 设置yarn历史服务器地址 -->
<property>
   <name>yarn.log.server.url</name>
   <value>http://node1:19888/jobhistory/logs</value>
</property>
​
<!-- 保存的时间7天 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>
⑥ workers文件
[root@node1 hadoop]# vim workers
# 用以下内容把之前内容覆盖
node1
node2
node3

5.拷贝软件到其他机器

  • nod1主机上拷贝到node2和node3中各一份

[root@node1 server]# scp -r /export/server/hadoop-3.3.0  root@node2:/export/server/
[root@node1 server]# scp -r /export/server/hadoop-3.3.0  root@node3:/export/server/

  • node2主机配置环境变量

[root@node2 server]# echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /etc/profile
[root@node2 server]# echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
[root@node2 server]# source /etc/profile

  • node3主机配置环境变量

[root@node3 server]# echo 'export HADOOP_HOME=/export/server/hadoop-3.3.0' >> /etc/profile
[root@node3 server]# echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
[root@node3 server]# source /etc/profile
困了就倒头睡
关注
  • 35
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
CentOS7配置有三个结点的Hadoop集群的免密登录总的原则
03-25
CentOS7搭建有三个结点的Hadoop-3.3.2集群的配置免密登录，总的原则有以下几点： 1）、用useradd -m hadoop命令创建hadoop用户 2）、用passwd Hadoop命令设置hadoop密码 3）、用vim /etc/sudoers给hadoop用户分配管理员权限 4）、用su hadoop命令切换到hadoop用户，三个结点都要切换到各自的hadoop用户 5）、用cd ~切换到宿主目录，即/home/Hadoop目录 6）、用ssh-keygen -t rsa生成各自密钥，三个结点都要各自生成 7)、三个结点分别用命令chmod 700 /home/hadoop/.ssh/ && chmod 700 /home/hadoop/ #设置目录hadoop、.ssh的权限 8）、三个结点各自生成的密钥文件id_rsa.pub通过scp authorized_keys命令发往同一个结点，拿到三个结点密钥文件的结点先后用三次cat id_rsa.pub>>authorized_keys命令把三个结点的id_rsa.pub叠加在一起，组成一个由三个
hadoop集群配置--免密登录配置
风
10-01 6206
Hadoop集群配置第一步：免密登录配置
Hadoop的SSH免密登录配置(三台虚拟机
weixin_55656726的博客
03-07 530
-------------------------------结束----------------------------并分别修改hosts文件，将主机名与相应的IP地址对应上。3.三台虚拟机分别运行以下命令，清除原有的密钥信息。分别设为master、slave1、slave2。分发完后，重复步骤6查看slave1与2中的情况。安装完成后，SSH服务器应该已经自动启动了。1.分别修改三台修改虚拟机hostname。2.安装ssh-centos。6.然后再master中查看。在master中分发。
Hadoop之免密登录
大数据
11-25 4431
1、在每个节点生成ssh密钥 cd .ssh ssh-keygen -t rsa 2、在主节点上将公钥拷贝到一个特定文件authorized_keys cp id_rsa.pub authorized_keys 3、将authorized_keys 文件拷到下一个节点 登录下一个节点，将该节点的ssh公钥id_rsa.pub 加入authorized_keys 文件 （以58节点为例：将authorized_keys 文件拷到58，登录58，将58节点的ssh公钥i...
Hadoop步骤二：设置免密码登录
qq_74890367的博客
06-20 2167
Hadoop步骤二：安装SHH 一些常见的问题
Hadoop集群配置免密SSH登录方法
qq_45808446的博客
04-06 1239
用户使用ssh-keygen工具在本地计算机上生成一对公钥和私钥。，而公钥可以通过ssh-copy-id或手动将其复制到远程主机上，是公开使用的，在将来的登录过程中，公钥用于对会话进行加密，并验证是否与存储在远程主机上的公钥匹配。id_rsa是私钥，而id_rsa.pub是公钥发送公钥：用户将公钥复制到需要访问的远程主机上。在将来的登录过程中，用户将使用私钥对登录请求进行加密，并发送给远程主机。
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc
08-21
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置
初学大数据，手动搭建Hadoop集群环境完整学习文档
11-09
初学大数据，如何手动搭建一套集群是很有必要的一件事，因为使用CDH等一键搭建后，不知内部的原理，无法真正的理解其大数据集群的搭建原理，此文档刚好给大家把手动搭建集群的步骤列举出来了
大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop
01-09
大数据教程之搭建Hadoop集群.zip
完全分布式hadoop集群搭建（含SSH免密码登录）（详细版）
09-10
非常详细的hadoop集群搭建教程，包含SSH免密码登录，基本上按照教程上一步一步操作就能搭建成功，非常适合大数据初学者使用
大数据学习所需基本知识以及搭建Hadoop大数据环境过程.docx
08-26
2.Linux系统安装及环境准备 3.Linux系统克隆及常用命令 4.Linux系统的软件安装方式介绍 5.VM虚拟机下安装Centos 6.部署hadoop（独立模式） 7.伪分布模式 8.全分布模式 9.一键启动脚本制作 10hadoop常用命令与操作
hadoop集群搭建设置免密登录
2301_77261170的博客
10-06 540
5. 把获取到的密匙发送给其他虚拟机和本机。（需要输入其他虚拟机的登录密码）3. 将修改好的hosts文件发送给其他虚拟机，发送时需要输入密码。使用ssh IP地址或虚拟机名称 登录，exit登出。由于免密是单向的，看自己需求是否相互免密。4. 在本台虚拟机生成密匙。6. 检查免密是否成功。
Hadoop平台搭建 IP与主机名的映射与免密登录(1)
最新发布
m0_61408947的博客
04-07 343
为了做好运维面试路上的助攻手，特整理了上百道。
大数据-Hadoop集群搭建（配置免密登录及配置环境）
关注网络安全、云原生安全
08-28 3003
目录 安装Hadoop 集群布局 克隆 配置免密登录 集群配置 验证集群 总结 安装Hadoop 上传压缩包。 在hadoop用户下，新建一个apps目录，进入该目录。可以通过文件的属性中的安全选项卡找到完整路径，并复制，和安装jdk时一样，使用SecureCRT的sftp上传即可。 文件路径 解压在该目录下即可。 解压 可以看到hadoop里面的内容，在sbin目...
一篇文章搞定hadoop创建多用户免密登录ssh
m0_65005535的博客
10-25 920
（修改后不会影响 root 用户的权限。在 sudoers 文件中，每个用户都有自己的行，这些行包含了该用户可以执行的命令以及其它特定的配置。因此，在该文件中添加新的用户行或修改现有的用户行不会影响其他用户的权限。//adduser是linux中创建新用户的命令，这个命令会创建新的用户账户，并设置其相关的系统属性。删除用户是一个敏感操作，请确保你要删除的用户是正确的，并且你有足够的权限执行该操作。//adduser是linux中创建新用户的命令，这个命令会创建新的用户账户，并设置其相关的系统属性。
从零开始的Hadoop学习（四）| SSH无密登录配置、集群配置
庭前云落的博客
08-29 2616
1）各个模块分开启动/停止（配置 ssh 是前提）常用整体启动/停止 HDFS整体启动/停止 YARN2）各个服务组件逐一启动/停止分别启动/停止 HDFS 组件启动/停止 YARN。
Hadoop集群免密登录配置
qq_42109746的博客
08-18 5217
一、引言 当我们启动Hadoop的时候，每启动一个节点就需要我们输入一次密码，但如果有很多台机器一起在跑，可能会多达几百几千个节点，很明显如果在生产环境中，这种操作绝对是不可取的。这个时候就需要我们对Hadoop进行SSH免密登录配置。 二、原理 Hadoop在启动节点的时候，其实都是系统内部在进行SSH登录，而每次进行SSH登录，就会需要我们用密码进行授权。这样解决办法就很简单了，我们只需...
配置hadoop的免密登录
weixin_50874065的博客
12-18 5682
今天在阿里云服务器上安装了hadoop，当我使用命令同时启动或者关闭多个节点时会提醒我输入密码，而我不知道密码是什么，感觉自己使用的话输入密码麻烦就想着配置免密登录，免密登录并不是取消了密码登录，而是后台去通过密钥帮我们登录了，以下是配置免密登录过程，非常简单 1.生成密钥对 执行下面命令一直回车生成密钥对，root用户生成密钥路径为/root/.ssh下面会有id_rsa.pub公钥和id_rsa私钥，.ssh是一个隐藏目录，需要命令查看 ssh-keygen -t rsa 2.将生成公钥发送到目标主
在虚拟机上搭建大数据平台Hadoop伪分布式集群环境，先搭建java
06-10
好的，下面是在虚拟机上搭建大数据平台Hadoop伪分布式集群环境的过程，首先需要搭建 Java 环境： 1. 下载 Java：可以在官网下载 Java 的最新版本，也可以在 Linux 发行版的软件源中安装 OpenJDK。 2. 安装 Java：将下载好的 Java 压缩包解压到指定目录，或者在命令行中使用软件包管理器安装 OpenJDK。 3. 配置环境变量：将 Java 的 bin 目录加入到 PATH 环境变量中，以便能够在命令行中直接使用 Java 命令。 4. 验证 Java 是否正常安装：在命令行中输入 `java -version`，查看 Java 版本信息是否正确显示。 至此，Java 环境搭建完成。 接下来可以开始搭建 Hadoop 伪分布式集群环境，具体步骤可以参考我之前回答的问题。需要注意的是，在搭建 Hadoop 环境之前需要确保虚拟机的网络设置正确，以便虚拟机之间能够正常通信。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

困了就倒头睡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值