如何合理设置hadoop相关组件的jvm Xmx

最新推荐文章于 2021-06-15 09:42:09 发布
最新推荐文章于 2021-06-15 09:42:09 发布
阅读量5.4k 收藏 5
点赞数 1
分类专栏： hadoop 文章标签： hadoop shell jvm heap
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leochenx/article/details/45220031
版权
本文探讨了如何合理设置Hadoop相关组件的JVM Xmx参数，特别是针对hiveserver2。通过分析发现，hiveserver2的配置会被hadoop的HADOOP_HEAPSIZE覆盖。解决方法包括单独设定HADOOP_NAMENODE_OPTS、HADOOP_DATANODE_OPTS，取消HADOOP_HEAPSIZE和HADOOP_CLIENT_OPTS中的Xmx设定，并在hive-env.sh中设定HADOOP_HEAPSIZE，以确保各组件的Xmx参数独立且不干扰。
摘要由CSDN通过智能技术生成

1.这个问题不是很简单么？

直接设置不久好了，java -Xmx2000m像这样不就好了。No,我说的不仅仅是这个问题，比如，你看到

/usr/local/bigdata/jdk/bin/java -Xmx2048m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/usr/local/bigdata/hadoop/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/usr/local/bigdata/hadoop -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,console -Djava.library.path=/usr/local/bigdata/hadoop/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Xmx512m -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /usr/local/bigdata/hive/lib/hive-cli-0.13.0.jar org.apache.hadoop.hive.cli.CliDriver

为什么出现2个-Xmx,这二个货是从哪里冒出来的? 

 

 

其实，根本问题是我想调整hiveserver2的jvm Xmx大小，我想直接修改hive/conf/hive-env.sh&#

                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  梅降雪
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
hadoop的优化.docx

				
			

			

				

					07-18
				

			

		

		

			
				
Namenode 是 Hadoop 集群的核心组件，其性能的优化对于整个集群的性能影响非常大。可以通过修改 /etc/hadoop/hadoop-env.sh 文件来实现。  1. 设置年轻代和老年代的内存分配  可以通过设置 -Xms 和 -Xmx 参数来实现...

			
		

	



                

              
                



	

		

			

				
					
Hadoop Shell命令

				
			

			

				

					Rnan_prince的博客
				

				

					11-02
					
					871
					
				

			

		

		

			
				
FS Shell

调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://nameno.

			
		

	



                


  
              

                


	

		

			

				
					
Hadoop作业JVM堆大小设置优化

				
			

			

				

					qq_18941247的博客
				

				

					07-24
					
					1065
					
				

			

		

		

			
				
https://www.cnblogs.com/wangq17/articles/6038406.html

Container is running beyond memory limitshttp://stackoverflow.com/questions/21005643/container-is-running-beyond-memory-limits`　　

[hadoop] - Con...

			
		

	





	

		

			

				
					
Hadoop 参数配置优化

				
			

			

				

					系统运维
				

				

					01-14
					
					170
					
				

			

		

		

			
				

主要参照官方给出的配置指南进行的。

hadoop.tmp.dir
默认值：/tmp说明：尽量手动配置这个选项，否则的话都默认存在了里系统的默认临时文件/tmp里。并且手动配置的时候，如果服务器是多磁盘的，每个磁盘都设置一个临时文件目录，这样便于mapreduce或者hdfs等使用的时候提高磁盘IO效率。

fs.trash.interval
默认值：0说明：这个是开启hdfs文件...

			
		

	



		

			
		



	

		

			

				
					
Hadoop参数汇总

				
			

			

				

					
				

				

					01-04
					
					1873
					
				

			

		

		

			
				
Hadoop参数汇总
@(hadoop)[配置]
linux参数
以下参数最好优化一下：

文件描述符ulimit -n 用户最大进程 nproc （hbase需要 hbse book） 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器 
JVM参数
JVM方面的优化项Hadoop Performance Tuning Guide
Hadoop参数大全
适用

			
		

	





	

		

			

				
					
windows下面的hadoop环境变量

				
			

			

				

					10-26
				

			

		

		

			
				
- `HADOOP_OPTS`: 用于设置JVM参数，如内存分配 `-Xmx` 和 `-Xms`。 - `HADOOP_CONF_DIR`: 指向Hadoop配置文件所在的目录，通常是`%HADOOP_HOME%\conf`。  配置完成后，需要重启命令行终端，让新的环境变量生效。...

			
		

	





	

		

			

				
					
hadoop2部署配置文件

				
			

			

				

					07-25
				

			

		

		

			
				
本配置文件集合包含了运行Hadoop 2.x集群所需的关键组件设置，如HDFS、YARN和MapReduce。现在我们将详细讲解每个配置文件的作用及其重要性。  1. **hadoop-env.sh**: 这个文件是Hadoop环境变量的配置，主要设置JVM...

			
		

	





	

		

			

				
					
hadoop 开发规范

				
			

			

				

					02-26
				

			

		

		

			
				
- **OutOfMemoryError: Java heap space**：调整JVM参数如`-Xmx`。  #### 四、结论  通过上述内容可以看出，HiveSQL开发规范不仅包括了语法层面的规定，还涉及到了性能优化和常见问题的解决方案。遵循这些规范能够...

			
		

	





	

		

			

				
					
java opts环境你变_hadoop内存环境变量

				
			

			

				

					weixin_39568232的博客
				

				

					02-16
					
					587
					
				

			

		

		

			
				
hadoop内存的配置，涉及到两个方面:namenode/datanode/resourcemanager/nodemanager的HEAPSIZE环境变量在配置文件/Configuration中影响MR运行的变量HEAPSIZE环境变量hadoop-env.sh此配置文件 hdfs和yarn脚本都会加载。hdfs是使用HADOOP_HEAPSIZE，而yarn使用新的环境变量YARN_HEAPS...

			
		

	





	

		

			

				
					
hadoop jar 部分通用参数

				
			

			

				

					u011421236的博客
				

				

					12-25
					
					5963
					
				

			

		

		

			
				
1. mapreduce.job.queuename=root.monitor
MapReduce执行任务队列名称，不指定时使用默认队列
2. mapreduce.map.memory.mb 和mapreduce.reduce.memory.mb
Scope
&amp;amp;lt;property&amp;amp;gt;
  &amp;amp;lt;name&amp;amp;gt;mapreduce.map.memory.mb&amp;amp;lt;/name&am

			
		

	





	

		

			

				
					
Hadoop 集群启动后，从节点的NodeManager没有启动解决

				
			

			

				

					bymain的博客
				

				

					11-25
					
					2万+
					
				

			

		

		

			
				
1.slaves节点报错，报的是启动nodemanager 所需内存不足解决： 
    a:  修改 yarn-site.xml 中的yarn.scheduler.minimum-allocation-mb 内存大于1024， 
    b.修改 yarn-env.sh 中 JAVA_HEAP_MAX=-Xmx3072m 改为3G2.nodemanager节点报错Unexpected error

			
		

	





	

		

			

				
					
hadoop节点nodemanager启动失败原因小结~

					
热门推荐

				
			

			

				

					ling811的专栏
				

				

					07-12
					
					3万+
					
				

			

		

		

			
				
slaves节点报错，报的是启动nodemanager 所需内存不足


ERROR org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Unexpected error starting NodeStatusUpdater

org.apache.hadoop.yarn.exceptions.YarnRunt

			
		

	





	

		

			

				
					
HDFS设置JVM

				
			

			

				

					yh-search的专栏
				

				

					02-29
					
					4136
					
				

			

		

		

			
				
搭建的hadoop集群使用了一段时间，从26号发现一个datanode节点莫名宕机了，下载相关日志查看也没发现什么问题，重启后恢复了正常，对于具体的原因也就没有进行深入追究。
29号早上又被讨论组的问题给惊倒了，hadoop集群中的datanode节点有宕掉了，当时就想不会是同一台机器吧。远程VPN查看果不其然还是同一台出过问题的机器，按顺序下载日志进行分析，这次在日志中发现了问题，“java.

			
		

	





	

		

			

				
					
hadoop配置参数

				
			

			

				

					cxy1991xm的博客
				

				

					06-29
					
					1418
					
				

			

		

		

			
				
一、各个组件jvm参数
1、在hadoop-env.sh中的HADOOP_HEAPSIZE和HADOOP_CLIENT_OPTS是公共参数，不仅影响namenode/datanode，还会覆盖hive的hive-env.sh中的jvm的设置，因此建议将这两个参数注释
2、设置NameNode的jvm参数，在hadoop-env.sh中设定HADOOP_NAMENODE_OPTS
3、设置DataN...

			
		

	





	

		

			

				
					
hadoop如何运行java程序(jar包)运行时动态指定参数

				
			

			

				

					AKA石头
				

				

					06-15
					
					4040
					
				

			

		

		

			
				
1）首先启动hadoop2个进程，进入hadoop/sbin目录下，依次启动如下命令
[root@node02 sbin]# pwd
/usr/server/hadoop/hadoop-2.7.0/sbin

start-dfs.sh
start-yarn.sh
jps

2）通过jps查看是否正确启动，确保启动如下6个程序
[root@node02 sbin]# jps
10096 DataNode
6952 NodeManager
9962 NameNode
10269 SecondaryNameNod

			
		

	





	

		

			

				
					
设置hadoop的client端的jvm参数

				
			

			

				

					liao272549164的专栏
				

				

					10-21
					
					6566
					
				

			

		

		

			
				
以此来纪念自己的解决方法：

今天遇到一个问题，：怎么设定hadoop提交程序时client的jvm大小（即hadoop jar 这个提交程序jvm的大小）。
网上兜了一大圈，都是说什么设定map或Reduce任务的jvm的大小。可这个不是我所想要的，最后改变了收索关键词后（hadoop client jvm）发现了一片文章讲述了这样一个场景，跟着其指示做了一下，发现真的可以。
下面就是设

			
		

	





	

		

			

				
					
hadoop如何查看客户端内存默认大小

				
			

			

				

					那又怎样？的博客
				

				

					12-25
					
					1764
					
				

			

		

		

			
				
转载来自开老板

1 查看hadop-env.sh:

可以看到类似如下：

export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"





 

2 export | grep 查看（我没查到）



			
		

	





	

		

			

				
					
hadoop设置mapreduce 内存计算方法

					
最新发布

				
			

			

				

					05-30
				

			

		

		

			
				
在Hadoop中，可以通过以下两种方式来设置MapReduce的内存计算方法：  1. 使用mapred-site.xml文件进行配置。在该文件中，可以通过设置以下参数来配置MapReduce的内存计算方法：   - mapreduce.map.memory.mb：设置每...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值