hadoop内存调优

最新推荐文章于 2022-04-12 19:22:02 发布
最新推荐文章于 2022-04-12 19:22:02 发布
阅读量743 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41793026/article/details/106096204
版权

最近服务器内存老是卡爆，主要是hadoop太吃内存了
找了点资料给hadoop内存调优一下:
在hadoop.env.sh中修改:

export HADOOP_PORTMAP_OPTS="-Xmx256m $HADOOP_PORTMAP_OPTS"
export HADOOP_CLIENT_OPTS="-Xmx256m $HADOOP_CLIENT_OPTS"

在yarn-env.sh中修改

JAVA_HEAP_MAX=-Xmx268m

我是自己使用所以内存调的比较小，大家可以根据需要自己调节内存大小

白可爱同学
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop参数调优
03-11
Hadoop参数调优 Hadoop参数调优是指通过调整Hadoop配置文件中的各个参数来达到性能优化的目的。Hadoop配置文件中包含了大量的参数，每个参数都有其特定的作用和默认值。通过调整这些参数，可以大大提高Hadoop的性能...
hadoop 异常 问题解决：NameNode is still loading. Redirecting to the Startup Progress page
fuyun6363的博客
09-05 2475
环境：apache hadoop 3.2.2 、机器发生重启，集群异常关闭 现象：重启hdfs和yarn服务，底层namenode和datanode都没有报错，但是在namenode的web ui上报错 这种一般发生在一个namenode挂掉之后，隔一段时间重启，那么这个重启namenode需要加载到最新的fsimage，这种情况就是正常的，根据fsimage大小，加载的时间长短也是不一样的。 如果加载很慢，修改hadoop-env.sh,对其参数进行内存调优 # 扩大一下2个参数的jvm使用内存，原来
Hadoop基础之---配置
数据时代--收集，存储，处理，分析，挖掘，检索，展现
08-21 1397
Hadoop基础之---配置 话说Hadoop的配置文件是相当多的，这里列出一些注意的，常用的。 为什么要这么多配置，，配置就是为了方便配置，废话。因为很多时候代码里面写了很多Magic Number或者固定的路径或者固定的策略，而不同的环境，不同的需求可能会与默认的不同，所以需要修改，就放到配置文件里面，这样就可以随心所欲的设置了，而不用重新修改代码编译。 1.hadoop-env
java opts环境你变_hadoop内存环境变量
weixin_39568232的博客
02-16 557
hadoop内存的配置，涉及到两个方面:namenode/datanode/resourcemanager/nodemanager的HEAPSIZE环境变量在配置文件/Configuration中影响MR运行的变量HEAPSIZE环境变量hadoop-env.sh此配置文件 hdfs和yarn脚本都会加载。hdfs是使用HADOOP_HEAPSIZE，而yarn使用新的环境变量YARN_HEAPS...
二、Hadoop集群配置
qq_38058332的博客
08-25 663
Hadoop官方示例踩坑指南
weixin_39344732的博客
06-01 656
搭建成功Hadoop环境后，执行官方MR示例，报错。 问题：retry.RetryInvocationHandler: java.net.NoRouteToHostException: No Route to Host from ly/192.168.142.101 to ly2:8032 failed on socket timeout exception: java.net.NoRouteToHostException: 没有到主机的路由; **解决方式：关闭防火墙，只关了主机，其他两台系统统统都
hadoop作业调优参数整理及原理
03-02
这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存buffer（MapOutputBuffer，即上图...
hadoop基本知识
weixin_50691399的博客
12-11 325
本文主要是hadoop的相关基础知识，包括hadoop的组件的概念等
设置hadoop的client端的jvm参数
liao272549164的专栏
10-21 6518
以此来纪念自己的解决方法： 今天遇到一个问题，：怎么设定hadoop提交程序时client的jvm大小（即hadoop jar 这个提交程序jvm的大小）。 网上兜了一大圈，都是说什么设定map或Reduce任务的jvm的大小。可这个不是我所想要的，最后改变了收索关键词后（hadoop client jvm）发现了一片文章讲述了这样一个场景，跟着其指示做了一下，发现真的可以。 下面就是设
hadoop远程调试
m0_37613244的博客
04-12 1331
2 hadoop远程调试 服务器端配置 修改服务器上的配置文件${HADOOP_HOME}/etc/hadoop/hadoop-env.sh 增加 环境变量即可: 组件 环境变量设置 nn export HADOOP_NAMENODE_OPTS=“-agentlib:jdwp=transport=dt_socket,address=5005,server=y,suspend=y” dn export HADOOP_DATANODE_OPTS=“-agentlib:jdwp=trans
hadoop配置参数
cxy1991xm的博客
06-29 1388
一、各个组件jvm参数 1、在hadoop-env.sh中的HADOOP_HEAPSIZE和HADOOP_CLIENT_OPTS是公共参数，不仅影响namenode/datanode，还会覆盖hive的hive-env.sh中的jvm的设置，因此建议将这两个参数注释 2、设置NameNode的jvm参数，在hadoop-env.sh中设定HADOOP_NAMENODE_OPTS 3、设置DataN...
【环境搭建】CDH版Hadoop环境搭建
weixin_34356310的博客
09-13 456
1.下载组件 首先去CDH网站上下载hadoop组件 地址：http://archive.cloudera.com/cdh5/cdh/5/ 注意版本号要与其他的组件CDH版本一致   2.环境配置 设置主机名和用户名 配置静态IP 配置SSH免密登录 配置JDK 3.配置HADOOP 1.新建用户hadoop，从root用户获取/opt文件夹的权限，所有节点都要执行 ...
hadoop基础hdfs集群的安装配置
kyj3518861703的博客
03-31 1992
一：准备工作 1、每个节点创建相同的账号：账号名为自己名字的大写，我的时KYJ，清楚对应的ip地址和节点名称。 节点安排如下： 2、每种安装软件的安装版本： jdk 版本java version "1.8.0_271" maven 版本Apache Maven 3.6.1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555; 2019-04-05T03:00:29+08:00) hadoop 版本hadoop-2.7.6 3、对五台节点的KYJ账号进行.
第118讲：Hadoop内存需求量及Namenode内存使用详解学习笔记
slq1023的博客
10-25 6091
第118讲：Hadoop内存需求量及Namenode内存使用详解学习笔记 本期内容： 1.hadoop的内存使用 2.namenode内存使用详解 namenode内存大小涉及到集群的规模。 hadoop默认为每一个终端分配1GBm内存 hadoop2.6.0中mapper和reducer都叫yarn child。 具体在worker上运行的map和reduc任务个数取决于cpu个数
Hadoop部署配置文件
Beeman_xia的世界
11-29 2054
为了方便大家修，我把要修改的地方标红了，找到对应文件，复制粘贴过去就可以了 core-site.xml <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You
hadoop 2.4.1 集群安装一
风行天下
07-31 4801
配置主机名参考 Hadoop 1.2.1 集群安装一 配置JDK环境参考Hadoop1.2.1集群安装二
Hadoop-2.4.1学习之配置管理Hadoop
skyWalker_ONLY
08-26 4682
Hadoop-2.X较Hadoop-1.X有了很大的变化，比如YARN将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，配置文件及参数也有了很大变化，目录结构的调整等。另外在Hadoop-2.X版本中，通常专门指定一台主机为NameNode，另一台主机做为ResourceManager，这两台主机为masters，集群中剩余的主机既做为DataNode也做为NodeM
Hadoop 2.7.1 集群模式安装【三】环境配置实战
北方佳人
12-11 1154
基于hadoop2.7.1的详细安装，参照官方集群配置手册对hadoop进行了详细的安装配置说明。这里并没有涉及到高可用，高可用在接下来的一章中进一步详细说明
该怎么查找对hadoop进行调优对比的任务数据
最新发布
05-19
要比较Hadoop调优前后的性能差异，需要收集一些关于任务数据的统计信息。以下是一些可能有用的指标： 1. 数据大小：任务处理的数据量，包括输入数据大小和输出数据大小。 2. 块大小：HDFS块的大小，这对于调整map...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值