Enable HTTPS for YARN and MAPREDUCE2

最新推荐文章于 2024-09-02 18:20:18 发布
最新推荐文章于 2024-09-02 18:20:18 发布
阅读量710 收藏 2
点赞数
分类专栏： hadoop-yarn
Short Description:
Steps to enable HTTPS for YARN and MAPREDUCE2
Article

1. As a first step, enable HTTPS for HDFS, you can follow the article https://community.hortonworks.com/articles/52875/enable-https-for-hdfs.html

2. Add/Update below configurations in "Custom mapred-site" mapred-site.xml

 
 
  1. mapreduce.jobhistory.http.policy=HTTPS_ONLY
  2. mapreduce.jobhistory.webapp.https.address=<JHS>:<JHS_HTTPS_PORT> 
  3. mapreduce.ssl.enabled=true
  4. mapreduce.shuffle.ssl.enabled=true
  5.  
  6. Ex: mapreduce.jobhistory.webapp.https.address=apappu-hdp234-2.openstacklocal:19889
 
 
3. Add/update below configurations under "Advanced yarn-site" ( yarn-site.xml)
 
 
 
 
  1. yarn.http.policy=HTTPS_ONLY
  2. yarn.log.server.url=https://JHS:JHS_HTTPS_PORT/jobhistory/logs
  3. yarn.resourcemanager.webapp.https.address=RM:RM_HTTPS_PORT
  4. yarn.nodemanager.webapp.https.address=0.0.0.0:NM_HTTPS_PORT
  5.  
  6. Ex: 
  7. yarn.log.server.url=https://apappu-hdp234-2.ambari.org:19889/jobhistory/logs
  8. yarn.resourcemanager.webapp.https.address=apappu-hdp234-2.ambari.org:8090
  9. yarn.nodemanager.webapp.https.address=0.0.0.0:8042
 
 
4. Add/update below property in hdfs-site (hdfs-site.xml) under HDFS service.
 
 
 
 
  1. dfs.https.enable=true
 
 
5. Restart HDFS, YARN, MAPREDUCE services
 
 
6. should be able to access the URLs now,
 
 
YARN: https://HT_HOST:19889/
 
 
MAPREDUCE:https://YARN-RM-HOST:19889/jobhistory
 
 
More articles
 
 
*. To enable HTTPS for HBASE - https://community.hortonworks.com/articles/51165/enable-httpsssl-for-hbase-master-ui.html
 


                

        

    

  



    



                



	

		

			

				
					
yarn的安装和使用

				
			

			

				

					XYLH2015的博客
				

				

					03-11
					
					9400
					
				

			

		

		

			
				
一、yarn的简介：　　Yarn是facebook发布的一款取代npm的包管理工具。
二、yarn的特点：

速度超快。 
Yarn 缓存了每个下载过的包，所以再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率，因此安装速度更快。
超级安全。 
在执行代码之前，Yarn 会通过算法校验每个安装包的完整性。
超级可靠。 
使用详细、简洁的锁文件格式和明确的安装算法...

			
		

	



                

            
              



	

		

			

				
					
大数据Hadoop入门——HDFS、Yarn、MapReduce

				
			

			

				

					weixin_44090845的博客
				

				

					11-16
					
					2563
					
				

			

		

		

			
				
Hadoop框架详细个人总结——Hadoop入门篇大数据是什么？Hadoop基本概念介绍一、什么是Hadoop？二、Hadoop优势——四高三、Hadoop组成（重点）四、HDFS架构五、YARN架构六、MapReduce架构七、HDFS、YARN、MapReduce 三者关系Hadoop运行环境搭建虚拟机的准备一、安装虚拟机二、虚拟机配置及环境准备Hadoop运行模式一、本地运行模式二、伪分布式模式三、完全分布式模式**1.虚拟机准备****2.准备一个集群分发脚本****3.SSH 无密登录配置****

			
		

	



              


  
              

                


	

		

			

				
					
hadoop yarn 官网

				
			

			

				

					yy的博客
				

				

					07-18
					
					965
					
				

			

		

		

			
				
https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html












			
		

	





	

		

			

				
					
yarn 报错unable to verify the first certificate

				
			

			

				

					lzj2504476514的博客
				

				

					08-01
					
					3984
					
				

			

		

		

			
				
在使用yarn命令初始化安装依赖包时报如下错误：



报错原因：yarn配置中的strict-ssl为true导致https证书验证失败

可通过以下命令查看yarn的配置清单


yarn config list

解决方案：通过以下命令将strict-ssl为false


yarn config set strict-ssl false

再次查看yarn配置，这时strict-ssl已经为false了



此时再重新运行yarn就不会报这个错了
...

			
		

	



		

			
		



	

		

			

				
					
npm和yarn的源、代理设置和代理取消

				
			

			

				

					u010741112的博客
				

				

					12-10
					
					4314
					
				

			

		

		

			
				
npm和yarn转换淘宝源和官方源：
npm config set registry http://registry.npm.taobao.org/
npm config set registry https://registry.npmjs.org/

yarn config set registry http://registry.npm.taobao.org/
yarn config set registry https://registry.npmjs.org/

npm 设置代理
npm conf

			
		

	





	

		

			

				
					
Yarn 安装与使用详细介绍

				
			

			

				

					热爱思考、活力满满、开朗爱笑的年轻人
				

				

					08-24
					
					8万+
					
				

			

		

		

			
				
背景
什么是 Yarn
速度快
离线模式
可靠可确定性
网络优化
扁平化模式
版本控制
其他关于 Yarn 的介绍


Yarn 安装
windows
mac
方式一
方式二




Yarn 换源





背景

在 Node 生态系统中，依赖通常安装在项目的 node_modules 文件夹中。然而，这个文件的结构和实际依赖树可能有所区别，因为重复的依赖可以合并到一起。npm 客户端把依...

			
		

	





	

		

			

				
					
MapReduce配置 & YARN集群部署

				
			

			

				

					m0_75237906的博客
				

				

					01-21
					
					813
					
				

			

		

		

			
				
2:编辑mapred-site.xml；1：编辑mapred-env.sh；3:编辑yarn-env.sh;分发完成就可以启动YARN的相关进程了。在当前机器也可以单独启动或停止进程。历史服务器启动和停止。

			
		

	





	

		

			

				
					
Hadoop2.X中Mapreduce，YARN等配置，启动和常见错误解决办法

				
			

			

				

					ShiLuoHeroKing的博客
				

				

					03-21
					
					1727
					
				

			

		

		

			
				
本篇文章主要介绍一下 hadoop2.X 的启动的相关配置和启动过程常见错误的解决办法，废话不多少，下面开始按照官网的描述步骤开始介绍。


1.在opt目录下建立两个目录，分别为 modules,software ,建立这两个目录的目的是为了方便管理软件的安装和卸载


2.安装jdk ,由于本文中搭建的是hadoop2.X的环境，其中使用YARN，所以对jdk的版本有要求，最低为1

			
		

	





	

		

			

				
					
sheng的学习笔记-hadoop,MapReduce,yarn,hdfs框架原理

				
			

			

				

					coldstarry的专栏
				

				

					06-26
					
					1307
					
				

			

		

		

			
				
hadoop,mapreduce,yarn,hdfs

			
		

	





	

		

			

				
					
MapReduce2原理解析

				
			

			

				

					huahuaxiaoshao的博客
				

				

					04-04
					
					1870
					
				

			

		

		

			
				
1 MapReduce概述
      MapReduce源自于Google的MapReduce论文，改论文发表于2004年12月，现在的Hadoop MapReduce是Google MapReduce的克隆版本。
      MapReduce的特点：①易于编程：用户不用考虑...

			
		

	





	

		

			

				
					
常见操作命令

				
			

			

				

					qq_39942956的博客
				

				

					07-20
					
					518
					
				

			

		

		

			
				
1,常见命令取消https认证。

			
		

	





	

		

			

				
					
执行 yarn install 报错证书过期的解决方案

				
			

			

				

					谢子文的博客
				

				

					04-22
					
					1929
					
				

			

		

		

			
				
报错 error Error: Certificate has expired

			
		

	





	

		

			

				
					
yarn命令使用

					
热门推荐

				
			

			

				

					mjzhang1993的博客
				

				

					04-11
					
					10万+
					
				

			

		

		

			
				
yarn 命令使用版本说明 （当前文档使用版本）
yarn : 0.1
安装
  
  macOS 通过 homebrew 安装 brew install yarn
  Windows 下载安装 下载地址
  查看版本 yarn --version
  
1. 开始一个新工程
  yarn init
对应 npm init2. 添加一个依赖
  
  yarn add webpack@2.3.

			
		

	





	

		

			

				
					
前端项目：yarn start启动项目报错的解决方法

				
			

			

				

					luxiaopengyou的博客
				

				

					05-06
					
					1万+
					
				

			

		

		

			
				
平时用yarn运行项目的时候没问题，印象中也没有修改代码。然后某一天，控制台输入yarn start运行项目，报错Failed to compile：
i ｢wds｣: Project is running at http://10.8.78.100/
i ｢wds｣: webpack output is served from
i ｢wds｣: Content not from webpack ...

			
		

	





	

		

			

				
					
Yarn基本命令行

				
			

			

				

					boy火巨的博客
				

				

					01-11
					
					2万+
					
				

			

		

		

			
				
        Yarn 是一个新的包管理器，用于替代现有的 npm 客户端或者其他兼容 npm 仓库的包管理工具。Yarn 保留了现有工作流的特性，优点是更快、更安全、更可靠。 

        最初接触 yarn 还是在 0.17.10 版本，由于各种各样的原因，使用时没 npm 顺手, 目前 yarn 的版本已经升级为 1.3.2 各种之前遇到的问题不复存在，安装、下载速度都比 npm 要...

			
		

	





	

		

			

				
					
笔记：Vue - 应用启动在https默认端口（跨域）

				
			

			

				

					weixin_34351321的博客
				

				

					02-21
					
					4338
					
				

			

		

		

			
				
如何让你的应用启动在HTTPS
环境: vue、macOs、vue-cli3

由于楼主最近遇到了一个本地调用qa环境跨域及需要https的问题，所以在此记录下来



修改vue默认配置

在根目录新建vue.config.js文件
https: 开启https服务
port: 启动端口

// vue.config.js
module.exports = {
  configureWebpac...

			
		

	





	

		

			

				
					
yarn install报ssl证书错误解决办法

				
			

			

				

					ithongchou的博客
				

				

					09-02
					
					352
					
				

			

		

		

			
				
【代码】【无标题】

			
		

	





	

		

			

				
					
yarn 安装 使用以及安装时出现的问题

				
			

			

				

					li_001的博客
				

				

					03-25
					
					2万+
					
				

			

		

		

			
				
做项目是需要用到yarn 出现的一些问题 
没有安装yarn出现的问题 
Ubuntu安装方法curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | sudo apt-key add -
echo "deb https://dl.yarnpkg.com/debian/ stable main" | sudo tee /etc/apt/sources.l

			
		

	





	

		

			

				
					
hadoop大数据配置yarn

					
最新发布

				
			

			

				

					03-13
				

			

		

		

			
				
<think>嗯，用户让我介绍一下Hadoop大数据配置YARN的相关内容。首先，我需要确定用户对Hadoop和YARN的了解程度。可能他们已经有了一些基础，但需要具体的配置指导。YARN作为资源管理框架，配置起来可能涉及多个配置文件，比如yarn-site.xml、mapred-site.xml等。我需要回忆这些文件中的关键参数，比如资源管理器的地址、内存和CPU的配置。

接下来，用户可能需要知道配置的具体步骤，比如修改哪些文件，如何调整参数。例如，yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb这些内存设置，以及虚拟核的相关配置。同时，MapReduce的配置部分也不能忽略，比如指定使用YARN作为调度器。

还要考虑用户的集群环境，是单节点还是多节点？配置时是否需要同步到所有节点？可能需要提醒用户检查防火墙设置，确保节点之间通信正常。另外，启动和测试的步骤也很重要，比如重启YARN服务，运行示例作业来验证配置是否正确。

用户可能遇到的问题包括配置参数错误、端口冲突或者资源分配不足，需要给出常见问题及解决方法。例如，如果作业无法运行，检查日志或资源分配参数是否合理。最后，强调配置后的监控和管理，比如Web界面和日志分析，帮助用户维护集群稳定运行。</think>好的，我将为您逐步讲解Hadoop YARN的核心配置要点。以下是结构化说明：

# 一、YARN架构回顾
YARN（Yet Another Resource Negotiator）由三大核心组件构成：
1. **ResourceManager (RM)**：全局资源调度器
2. **NodeManager (NM)**：单节点资源代理
3. **ApplicationMaster (AM)**：应用级任务协调器

# 二、关键配置文件
需修改以下文件（路径：`$HADOOP_HOME/etc/hadoop/`）：
## 1. yarn-site.xml
```xml
<!-- 资源管理器地址 -->
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master-node</value>
</property>

<!-- 节点内存资源 -->
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>8192</value> <!-- 单节点可用内存 -->
</property>

<!-- 虚拟核数 -->
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>8</value> <!-- 物理核心数×超线程系数 -->
</property>

<!-- 启用日志聚合 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>
```

## 2. mapred-site.xml
```xml
<!-- 指定使用YARN框架 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- 设置任务内存限制 -->
<property>
  <name>mapreduce.map.memory.mb</name>
  <value>2048</value> <!-- 单个Map任务内存 -->
</property>
```

# 三、高级参数调优
```xml
<!-- 容器内存分配策略 -->
<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>1024</value> <!-- 最小分配单位 -->
</property>

<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
  <value>8192</value> <!-- 最大分配单位 -->
</property>

<!-- 服务端口配置 -->
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>0.0.0.0:8088</value>
</property>
```

# 四、部署与验证步骤
1. **同步配置到所有节点**
   ```bash
   scp -r /path/to/hadoop/conf/ worker-node1:/hadoop/etc/hadoop/
   ```

2. **启动YARN服务**
   ```bash
   # 在ResourceManager节点
   yarn --daemon start resourcemanager
   
   # 在NodeManager节点
   yarn --daemon start nodemanager
   ```

3. **验证集群状态**
   ```bash
   yarn node -list  # 查看节点注册情况
   
   # 运行测试作业
   hadoop jar hadoop-mapreduce-examples.jar pi 16 1000
   ```

# 五、常见问题排查
1. **节点未注册**：
   - 检查`yarn.resourcemanager.hostname`配置一致性
   - 验证节点间网络连通性（telnet master-node:8032）

2. **内存分配错误**：
   ```bash
   # 查看NodeManager日志
   tail -f /var/log/hadoop-yarn/yarn-yarn-nodemanager-*.log
   
   # 确认物理内存与配置值关系：
   Total_alloc = yarn.nodemanager.resource.memory-mb
   ```

3. **作业卡在ACCEPTED状态**：
   - 检查`yarn.scheduler.capacity.root.queues`队列配置
   - 验证ApplicationMaster资源请求是否超出限制

# 六、监控与管理
1. Web控制台访问：`http://resourcemanager-host:8088`
2. 使用`yarn top`实时监控资源使用
3. 日志聚合路径配置：
   ```xml
   <property>
     <name>yarn.nodemanager.remote-app-log-dir</name>
     <value>/tmp/logs</value>
   </property>
   ```

**最佳实践建议**：
- 预留20%物理内存给系统进程
- 容器内存应设置为Xmx值的1.2倍（考虑JVM开销）
- 定期检查`yarn.nodemanager.resource.detect-hardware-capabilities`自动检测硬件配置

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值