一键启动和关闭hadoop全部进程（shell脚本）

最新推荐文章于 2024-04-14 13:06:43 发布
最新推荐文章于 2024-04-14 13:06:43 发布
阅读量1.9k 收藏 5
点赞数 3
分类专栏： 大数据 --- 与Bug的争锋相对 文章标签： linux shell hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46028577/article/details/106638159
版权
本文介绍了如何编写及使用shell脚本，实现一键启动和关闭Hadoop的所有进程，适用于伪分布式部署的Hadoop环境。脚本需根据个人的Hadoop安装路径进行调整，并确保脚本具有执行权限。
摘要由CSDN通过智能技术生成

注意：路径可根据自己hadoop安装路径选择编写，博主hadoop为伪分布式部署

编写启动所有hadoop进程脚本

vi mystart-all.sh

#!/bin/bash
/usr/local/hadoop-2.8.5/sbin/start-dfs.sh
/usr/local/hadoop-2.8.5/sbin/start-yarn.sh
/usr/local/hadoop-2.8.5/sbin/mr-jobhistory-daemon.sh start historyserver

编写关闭所有hadoop进程脚本

vi mystop-all.sh

#!/bin/bash
/usr/local/hadoop-2.8.5/sbin/mr-jobhistory-daemon.sh stop historyserver
/usr/local/hadoop-2.8.5/sbin/stop-yarn.sh
/usr/local/hadoop-2.8.5/sbin/stop-dfs.sh

编写好脚本后，给脚本执行权限。


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  「已注销」
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    3
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    5
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
hadoop集群一键启动、关闭

				
			

			

				

					10-15
				

			

		

		

			
				
一键启动Hadoop集群涉及到以下步骤：  1. **环境检查**：首先，脚本会检查所有节点上的环境配置，包括Java环境、Hadoop配置、环境变量等，确保集群运行的前提条件满足。  2. **HDFS格式化**：对于新集群，需要对HDFS...

			
		

	



                

              
                



	

		

			

				
					
解决Hadoop集群崩溃问题的基本流程

				
			

			

				

					weixin_50971474的博客
				

				

					09-07
					
					790
					
				

			

		

		

			
				
解决Hadoop集群崩溃基本流程

			
		

	



                


  
              

                


	

		

			

				
					
所有集群启动的命令

				
			

			

				

					需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
				

				

					08-01
					
					1905
					
				

			

		

		

			
				
所有集群启动的命令

			
		

	





	

		

			

				
					
shell脚本实现在任意虚拟机上 一键重启/关闭 多台虚拟机

				
			

			

				

					m0_37616517的博客
				

				

					07-30
					
					810
					
				

			

		

		

			
				
shell脚本实现在任意虚拟机上 一键重启多台虚拟机

			
		

	



		

			
		



	

		

			

				
					
【Hadoop】好用的脚本分享

				
			

			

				

					你不来，再美的天地，都狼藉 ~
				

				

					06-10
					
					5377
					
				

			

		

		

			
				
Hadoop脚本！一键完成，从此告别重复操作！

			
		

	





	

		

			

				
					
Hadoop高可用集群（HA）一键启动脚本

				
			

			

				

					qq_62928039的博客
				

				

					10-12
					
					1012
					
				

			

		

		

			
				
高可用集群启动时，需要分别在每个节点上都执行zkServer.sh start启动zookeeper，这个过程比较麻烦，并且当我们节点增多时，这个过程无疑不增加了我们的工作量，因此我们可以写一个一键启动所有节点zookeeper的脚本。

			
		

	





	

		

			

				
					
hadoop环境部署自动化shell脚本（伪分布式、完全分布式集群搭建）.docx

				
			

			

				

					04-18
				

			

		

		

			
				
7. **启动/停止Hadoop集群**：一键启动或关闭所有Hadoop服务。 8. **DataNode部署**：自动在DataNode节点上完成Hadoop的安装和配置。 9. **一键删除Hadoop集群**：方便清理环境，重新部署。 10. **主机解析设置**：...

			
		

	





	

		

			

				
					
shell脚本一键安装zookeeper3.4.5

				
			

			

				

					06-01
				

			

		

		

			
				
在本案例中，"shell脚本一键安装zookeeper3.4.5"指的是使用一个自定义的shell脚本来简化Apache ZooKeeper 3.4.5的安装过程。Apache ZooKeeper是一个分布式的、开放源码的协调服务，对于分布式应用来说，它提供了诸如...

			
		

	





	

		

			

				
					
hadoop3环境一键部署.zip

				
			

			

				

					12-13
				

			

		

		

			
				
部署完成后，用户需要进行一系列验证操作，如启动Hadoop服务、检查集群状态、测试数据读写等。此外，了解如何使用Hadoop命令行工具（如hdfs dfs, hbase shell等）和开发MapReduce或Spark程序也是必不可少的。  总之...

			
		

	





	

		

			

				
					
hadoopAutomation:自动化代码以配置Hadoop和启动集群服务

				
			

			

				

					03-21
				

			

		

		

			
				
6. **脚本语言与工具**：实现自动化配置通常会用到Shell脚本、Python、Ansible等工具，这些脚本能够解析配置文件、执行命令和处理异常，提高部署效率。  7. **版本控制与版本兼容性**：Hadoop有不同的版本，每个版本...

			
		

	





	

		

			

				
					
hadoop 高可用集群一键启动脚本

				
			

			

				

					11-03
				

			

		

		

			
				
hadoop 高可用启动脚本，运行启动zookeeper集群和hadoop ha集群

			
		

	





	

		

			

				
					
Hadoop一键启动脚本编写

				
			

			

				

					weixin_52010459的博客
				

				

					10-15
					
					1917
					
				

			

		

		

			
				
Hadoop集群的单独启动命令和一键启动脚本编写

			
		

	





	

		

			

				
					
启动hadoop的linux命令,Linux脚本，一键关闭启动hadoop中相关进程，启动MapReduce程序...

				
			

			

				

					weixin_36353849的博客
				

				

					05-16
					
					554
					
				

			

		

		

			
				
废话最近学习hadoop方面的知识，每次开启Linux时都要启动hadoop相应的四个进程用命令行打着实有点麻烦，而且有时一个不小心打错字母，还得从头来一遍于是想了下面这几个脚本文件，帮助启动关闭hadoop相关进程建议新手还是要多去练一练废话不多说，上代码附：代码有点不规范，请见谅start-hadoop.sh：启动相关hadoop相关进程#!/bin/sh#为防止出错，命令都写为了绝对路径na...

			
		

	





	

		

			

				
					
Hadoop集群时间同步、集群一键启动或关闭脚本

				
			

			

				

					JIE的博客 --- moon_coder
				

				

					10-28
					
					448
					
				

			

		

		

			
				
本篇文章主要分享一些 Hadoop 集群的相关知识点，欢迎纠错指正。

			
		

	





	

		

			

				
					
Hadoop集群启动的四种方式

					
最新发布

				
			

			

				

					m0_68533987的博客
				

				

					04-14
					
					4647
					
				

			

		

		

			
				
使用脚本一键启动集群需要配置slaves配置文件和SSH免密登录hadoop01、hadoop02、hadoop03三台节点（视自身情况而定），为了在任意一台节点上执行脚本一键启动Hadoop服务，需要在三台虚拟机包括自身节点均配置SSH双向免密登录。将脚本放在/usr/bin目录下，创建脚本文件：hadoop.sh。在任意目录下都可以执行脚本文件。

			
		

	





	

		

			

				
					
hadoop03——hadoop架构以及优缺点，常用的hadoop shell命令以及Eclipse hadoop API配置

				
			

			

				

					qq_30150845的博客
				

				

					06-25
					
					472
					
				

			

		

		

			
				
hdfs的设计思想
1）分块存储
默认128M   hadoop2
太大   负载不均衡
太小    namenode的压力过大
注意： 一个块 不够128M   单独成一个块
200M
2）冗余存储
默认每一个块  3个副本  每一个块  总共存储3份
副本： 相同地位  互为副本  没有优先级
注意：	
	1）同一个块的不同副本  存储在不同节点的 
	2）默认副本3个   有一个宕机了   ...

			
		

	





	

		

			

				
					
Hadoop集群启动和关闭脚本

				
			

			

				

					BIPT919的博客
				

				

					04-24
					
					6099
					
				

			

		

		

			
				
文章目录Hadoop集群启动关闭脚本一、Hadoop集群启动脚本1.在cd $HADOOP_HOME路径下创建jiqunstart.sh文件。二、Hadoop集群关闭脚本1.同理在cd $HADOOP_HOME路径下创建jiqunstop.sh文件。三、运行两个脚本1.脚本运行成功后，打开50070查看集群是否启动成功2.可能遇到的问题

Hadoop集群启动关闭脚本
1.首先我们知道在启动Hadoop命令时，我们是  start-dfs.sh→start-yarn.sh
→mr-jobhistory-da

			
		

	





	

		

			

				
					
db2 hadr 起停顺序_Zookeeper、Hadoop、Hbase的启动顺序以及关闭顺序

				
			

			

				

					weixin_39803977的博客
				

				

					12-23
					
					319
					
				

			

		

		

			
				
启动顺序Hadoop及hbase集群启动顺序 zookeepeer -> hadoop -> hbase停止顺序Hadoop及hbase集群关闭顺序 hbase -> hadoop -> zookeepeer启动和停止ZK /home/zookeeper-3.4.6/bin/zkServer.sh start | stop启动和停止hadoop集群方式一：启停yarn及...

			
		

	





	

		

			

				
					
Hadoop（1）——Hadoop集群构建（10）——启动和关闭Hadoop集群

				
			

			

				

					weixin_54348877的博客
				

				

					09-28
					
					3629
					
				

			

		

		

			
				
需要启动的集群：启动HDFS和YARN集群

启动方式：单节点逐个启动 或者 使用脚本一键启动

一、单节点启动

1. 启动HDFS的主节点 namenode

hadoop01中，输入：hadoop-daemon.sh start namenode



2. 启动HDFS的从节点 datanode

hadoop01中，输入：hadoop-daemon.sh start datanode



3. 验证启动

hadoop01中，输入：jps

这个命令可以查看和java相关的进程


...

			
		

	





	

		

			

				
					
linux中一键启动和关闭hadoop和yarn和hive的完整的Shell脚本

				
			

			

				

					03-27
				

			

		

		

			
				
下面是一个基本的Shell脚本，可以一键启动和关闭Hadoop、YARN和Hive：

启动脚本：

```
#!/bin/bash

# Start Hadoop
echo "Starting Hadoop..."
start-all.sh

# Start YARN
echo "Starting YARN..."
start-yarn.sh

# Start Hive
echo "Starting Hive..."
hive --service hiveserver2 &
```

关闭脚本：

```
#!/bin/bash

# Stop Hive
echo "Stopping Hive..."
hive --service hiveserver2 --stop

# Stop YARN
echo "Stopping YARN..."
stop-yarn.sh

# Stop Hadoop
echo "Stopping Hadoop..."
stop-all.sh
```

这些脚本需要在Hadoop的bin目录下运行。注意，这些脚本假设您的Hadoop和Hive配置正确，并且已经启动。如果您需要更改脚本以适应您的环境，请确保您知道在何处更改它们。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值