- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark的原理解析
Spark的原理解析 文章目录前言一. Spark简介Spark与MapReduce对比二.基本概念和架构设计Spark运行的基本流程（这里以YARN为例）RDD的一个基本运行概述RDD的典型执行过程如下RDD的依赖关系总结 前言 今天主要学习的是一个Spark框架的原理解析，spark的运行流程，RDD的一个执行过程，依赖关系的一个介绍 一. Spark简介 Spark是由scala开发的，scala运行于JAVA平台（JVM）,并兼容现有的JAVA程序，所以使用scala编写的程序由Java j.
2022-05-29 20:28:18
296
原创 MapReduce与YARN原理解析
MapReduce与YARN原理解析 目录MapReduce与YARN原理解析前言一.MapReduce(1)mapreduce的发展历程(2)mapreduce的工作流程Split:分片操作RR:记录阅读器Map:Map函数ShuffleReduce函数二.YARNYARN的简介YARN工作流程总结 前言 这里主要偏向理论理解，主要是为了更好的理解MR计算框架和YARN 一.MapReduce (1)mapreduce的发展历程 Hadoop1.x是由hdfs和mapreduce组成，并没有YRA
2022-05-28 19:18:07
363
原创 Hadoop全分布配置
文章目录前言一.配置linux基础环境1.关闭防火墙2.网络配置3.修改主机名和hosts(映射文件)4.免密登录（都要）5.解压jdk,hadoop安装包（配置环境变量）二.搭建Hadoop全分布1.配置Hadoop内部环境变量2.配置核心组件：修改slaves文件（配置工作节点）格式化文件系统启动和关闭hadoop集群检测集群是否启动成功？总结 前言 这里在正式搭建hadoop全分布前配置linux基础环境(提前准备好3台虚拟机） .
2022-05-23 20:31:09
551
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人