- 博客(3)
- 资源 (1)
- 收藏
- 关注
原创 Spark的原理解析
Spark的原理解析文章目录前言一. Spark简介Spark与MapReduce对比二.基本概念和架构设计Spark运行的基本流程(这里以YARN为例)RDD的一个基本运行概述RDD的典型执行过程如下RDD的依赖关系总结前言今天主要学习的是一个Spark框架的原理解析,spark的运行流程,RDD的一个执行过程,依赖关系的一个介绍一. Spark简介Spark是由scala开发的,scala运行于JAVA平台(JVM),并兼容现有的JAVA程序,所以使用scala编写的程序由Java j.
2022-05-29 20:28:18 343
原创 MapReduce与YARN原理解析
MapReduce与YARN原理解析目录MapReduce与YARN原理解析前言一.MapReduce(1)mapreduce的发展历程(2)mapreduce的工作流程Split:分片操作RR:记录阅读器Map:Map函数ShuffleReduce函数二.YARNYARN的简介YARN工作流程总结前言这里主要偏向理论理解,主要是为了更好的理解MR计算框架和YARN一.MapReduce(1)mapreduce的发展历程Hadoop1.x是由hdfs和mapreduce组成,并没有YRA
2022-05-28 19:18:07 400
原创 Hadoop全分布配置
文章目录前言一.配置linux基础环境1.关闭防火墙2.网络配置3.修改主机名和hosts(映射文件)4.免密登录(都要)5.解压jdk,hadoop安装包(配置环境变量)二.搭建Hadoop全分布1.配置Hadoop内部环境变量2.配置核心组件:修改slaves文件(配置工作节点)格式化文件系统启动和关闭hadoop集群检测集群是否启动成功?总结前言这里在正式搭建hadoop全分布前配置linux基础环境(提前准备好3台虚拟机).
2022-05-23 20:31:09 597
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人