hadoop完全分布式模式（2）集群免密配置

最新推荐文章于 2023-04-01 11:03:23 发布
最新推荐文章于 2023-04-01 11:03:23 发布
阅读量208 收藏 1
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62563383/article/details/121922969
版权
本文介绍了如何在Hadoop集群中实现ssh免密登录，详细步骤包括在每个节点生成并拷贝公钥，以及配置启动和停止脚本。同时，文章还提供了集群的启动和停止流程，包括HDFS和YARN的相关进程管理。
摘要由CSDN通过智能技术生成
  • 集群单点启动

在每个节点上分别启动下边表格的进程：
在这里插入图片描述

  • Hadoop100：
    hdfs --daemon start namenode
    hdfs --daemon start datanode
    yarn --daemon start nodemanager

  • hadoop101：
    yarn --daemon start resourcemanager
    hdfs --daemon start datanode
    yarn --daemon start nodemanager

  • hadoop102：
    hdfs --daemon start secondarynamenode
    hdfs --daemon start datanode
    yarn --daemon start nodemanager

    （1）启动hdfs相关
    hdfs --daemon start namenode
    hdfs --daemon start datanode
    （2）启动yarn相关
    yarn --daemon start resourcemanager
    yarn --daemon start nodemanager

ssh免密登录

在每个节点生成公钥和私钥，并拷贝
Hadoop100：
生成公钥和私钥


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  天水水各一方
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Hadoop(4) 完全分布式搭建以及集群中免密登录的配置

				
			

			

				

					Alaskyed的博客
				

				

					12-25
					
					1522
					
				

			

		

		

			
				
Hadoop(四)
完全分布式搭建以及集群中免密登录的配置
文章目录Hadoop(四) 
完全分布式搭建以及集群中免密登录的配置Hadoop完全分布式搭建分布式的节点分配分布式配置启动集群免密登录配置SSH协议介绍免密登录的配置集群中免密登录的简单配置一键启动Hadoop集群的配置
Hadoop完全分布式搭建
分布式的节点分配
首先我们需要了解一下一个Hadoop集群需要哪些节点:
在伪分布式我...

			
		

	



                

              
                



	

		

			

				
					
ssh免密登录

				
			

			

				

					weixin_58941637的博客
				

				

					12-13
					
					2366
					
				

			

		

		

			
				
ssh免密登录
1、在每个节点生成公钥和私钥，并拷贝
Hadoop100：
生成公钥和私钥
ssh-keygen -t rsa

然后敲（三个回车）
将公钥拷贝到要免密登录的目标机器上
[root@hadoop100] ssh-copy-id hadoop100
[root@hadoop100] ssh-copy-id hadoop101
[root@hadoop100] ssh-copy-id hadoop102

Hadoop101：
生成公钥和私钥
[root@hadoop101] ssh-keyge

			
		

	



                


  
              

                


	

		

			

				
					
Hadoop完全分布式运行模式＜开发重点＞: SSH无密登录配置

				
			

			

				

					weixin_44065078的博客
				

				

					10-11
					
					181
					
				

			

		

		

			
				
Hadoop完全分布式运行模式＜开发重点＞: SSH无密登录配置1. 配置SSH2. 无秘钥配置3. `.ssh`文件夹下（~/.ssh）的文件功能解释
1. 配置SSH


基础语法

ssh [另一台电脑的IP地址]



ssh 连接时出现 Host key verification failed 的解决办法
[atguigu@hadoop102opt]$ ssh 192.168.1.103
Theauthenticityofhost'192.168.1.103(192.168.1.103)'can'

			
		

	





	

		

			

				
					
Hadoop完全分布式环境搭建（二）——基于Ubuntu16.04设置免密登录

				
			

			

				

					weixin_34037515的博客
				

				

					01-23
					
					365
					
				

			

		

		

			
				
在Windows里，使用虚拟机软件Vmware WorkStation搭建三台机器，操作系统Ubuntu16.04,下面是IP和机器名称。

【实验目标】：在这三台机器之间实现免密登录
 1、从主节点可以免密登陆到主节点
 2、从主节点可以免密登陆到其它两个从节点
...

			
		

	



		

			
		



	

		

			

				
					
完全分布式hadoop集群搭建（含SSH免密码登录）（详细版）

				
			

			

				

					09-10
				

			

		

		

			
				
非常详细的hadoop集群搭建教程，包含SSH免密码登录，基本上按照教程上一步一步操作就能搭建成功，非常适合大数据初学者使用

			
		

	





	

		

			

				
					
Hadoop完全分布式集群总结

				
			

			

				

					01-07
				

			

		

		

			
				
文章目录Hadoop完全分布式集群搭建一、新建虚拟机二、规划集群与服务1、逻辑结构2、物理结构3、总结构三、配置集群1、主节点基础网络配置1.1、配置固定ip地址1.2、修改主机名1.3、配置dns1.4、配置 ip 地址和主机名...

			
		

	





	

		

			

				
					
部署全分布模式Hadoop集群 实验报告

				
			

			

				

					04-18
				

			

		

		

			
				
部署全分布模式Hadoop集群 实验报告一、实验目的  1. 熟练掌握 Linux 基本命令。...5. 配置全分布模式 Hadoop 集群。 6. 关闭防火墙。 7. 格式化文件系统。 8. 启动和验证 Hadoop。 9. 关闭 Hadoop。

			
		

	





	

		

			

				
					
hadoop完全分布式部署

				
			

			

				

					09-25
				

			

		

		

			
				
本文档详细介绍了Hadoop完全分布式部署的过程，包括硬件和网络环境的准备、Java环境的安装、Hadoop的安装与配置以及Hive的集成等步骤。通过这些步骤，用户可以构建一个稳定可靠的Hadoop集群，为大数据处理提供坚实的...

			
		

	





	

		

			

				
					
Ubuntu 16.04 虚拟机下构建hadoop完全分布式集群

				
			

			

				

					06-26
				

			

		

		

			
				
根据提供的文件信息，本文将详细解析如何在Ubuntu 16.04虚拟机环境下搭建Hadoop完全分布式集群。本文档适合已经具备基本Linux操作技能并对Hadoop有一定了解的读者。  ### 一、所需文件及软件  为了搭建Hadoop完全...

			
		

	





	

		

			

				
					
Hadoop完全分布式安装教程

				
			

			

				

					03-20
				

			

		

		

			
				
Hadoop完全分布式安装教程  本文档旨在指导用户完成Hadoop的完全分布式安装，涵盖了从虚拟机安装到Hadoop配置文件的详细步骤。本教程适合初学者和中级用户，旨在帮助他们快速掌握Hadoop的安装和配置。  一、Hadoop...

			
		

	





	

		

			

				
					
hadoop完全分布式 SSH免密【Ubuntu-16版本】

				
			

			

				

					CHLONGJUN的博客
				

				

					10-22
					
					447
					
				

			

		

		

			
				
本文采用Ubuntu-16.04…版本，安装了三台节点，主节点命名master，从节点命名slaver1，slaver2
安装hadoop完全分布式主从节点三个
安装过程与前面教程一致，在这里就不细说，只会讲一些有区别的单独列出来


三台虚拟主机的安装与一台主机安装一致，没有什么变化，硬盘大小和CPU等参数可以根据自己的电脑配置进行设定，需要注意的是，在设置用户名和密码界面，三台虚拟主机分别设为...

			
		

	





	

		

			

				
					
hadoop集群的免密登录

				
			

			

				

					WangaWen1229的博客
				

				

					06-16
					
					205
					
				

			

		

		

			
				
ssh（Secure Shell）免密登录
ssh是群起集群时候需要依赖 的
以非对称加密实现身份验证（A.B成对出现）用A加密必须用B解密
公钥给远程中心 私钥给自己
先102到103ssh-keygen -t rsa
id_rsa私钥
id_rsa.pub公钥
known_hosts记录了所有见过的主机
/home/atguigu/.ssh
ssh-copy-id hadoop103（连接是单向的）
密码在103 .ssh/authorized_keys    authorized_keys保存所有能够

			
		

	





	

		

			

				
					
Hadoop全分布式搭建2（配置免密钥登录）

				
			

			

				

					m0_46220986的博客
				

				

					03-30
					
					236
					
				

			

		

		

			
				
配置免密钥登录
1）生成公钥（ssh-keygen命令默认会将公钥放在/root/.ssh目录下）
代码：#  ssh-keygen  -t  rsa（四次回车）
注意：三台虚拟机都需执行
2)在master上：
#  ls  -a (查看是否有.ssh文件，ls  -a查看所有文件及目录，包括隐藏的）
#  cd  .ssh/(进入.ssh目录)

...

			
		

	





	

		

			

				
					
hadoop集群配置--免密登录配置

				
			

			

				

					风
				

				

					10-01
					
					6349
					
				

			

		

		

			
				
Hadoop集群配置第一步：免密登录配置

			
		

	





	

		

			

				
					
Lesson9 Hadoop 完全分布式 主机 SSH 免密登录

				
			

			

				

					Gaoithe的博客
				

				

					04-09
					
					730
					
				

			

		

		

			
				
之前在利用 scp 和 sync 等进行主机间通信时，每一次都要输入各主机的密码，配置SSH免密登录即可省去该过程。


一、 免密登录原理：




1. 在主机 A 利用非对称性加密算法生成密钥对，公钥发送给其它主机，私钥保留。

2. 主机 A 将公钥发送给 B，即可免密访问 B。

3. 主机 A 将数据用私钥加密后发送给 B 。

4. B 接收到数据后用 A 给的公钥解密数据。...

			
		

	





	

		

			

				
					
（六）大数据实战——hadoop集群实现免密登录和文件互传

					
最新发布

				
			

			

				

					厉害哥哥的博客
				

				

					04-01
					
					1727
					
				

			

		

		

			
				
本节内容我们主要介绍一下hadoop集群服务器之间实现免密登录和文件互传的功能，这样更加方便我们使用hadoop服务器实现服务器之间的相互登录和文件的相互传输。集群之间的访问不在需要授权就可以实现相互访问。

			
		

	





	

		

			

				
					
【Hadoop】Hadoop完全分布式搭建（1）时间同步、ssh免密登录

				
			

			

				

					weixin_38220799的博客
				

				

					06-28
					
					2253
					
				

			

		

		

			
				
整理自：红亚大数据竞赛
新建三台虚拟机包括一个主节点master和两个从节点slave1和slave2
1、修改虚拟机名称(三台机器同时执行)
切换到root用户
su

修改名称
hostnamectl set-hostname master

永久修改主机名
vi /etc/sysconfig/network


下载相关工具
yum install -y net-tools

保存该文件 重启虚拟机
reboot

查看是否生效
hostname


2、配置host文件(三台机器同时执行)
查看虚拟

			
		

	





	

		

			

				
					
Hadoop 集群搭建一   集群免密登录

				
			

			

				

					离人散
				

				

					03-28
					
					1377
					
				

			

		

		

			
				
Hadoop 集群搭建一   集群免密登录
一、虚拟机安装

按照以上配置创建五台虚拟机，cluster-01、cluster-02、cluster-03、cluster-04、cluster-05。
在虚拟机安装过程中将系统时间设为亚洲上海。
若没有配置系统时间则可以在安装完成后用代码改变系统时间：
cp  /usr/share/zoneinfo/Asia/Shanghai  /etc/loca...

			
		

	





	

		

			

				
					
Hadoop完全分布式配置-免密码登录

				
			

			

				

					u012240857的博客
				

				

					05-08
					
					1500
					
				

			

		

		

			
				
Hadoop完全分布式配置-免密码登录

			
		

	





	

		

			

				
					
CentOS 7中Hadoop完全分布式搭建教程与网络配置详解

				
			

			

				

					
				

			

		

		

			
				
本文档详细介绍了在 CentOS 7 的虚拟环境中搭建 ...整个教程详细地介绍了从环境配置、操作系统安装、网络设置、工具安装到关键配置的各个环节，对于想要学习 Hadoop 分布式搭建的读者来说，这是一个实用且全面的指南。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值