- 博客(3)
- 收藏
- 关注
RSS订阅原创 Spark submit 源码阅读
文档说明1.1、文档描述本文档以笔记的形式整理记录此次阅读spark2.4.4源码的理解与过程，希望做到尽可能的详细记录下spark2.4.4源码中的一些关键细节。作为日后工作解决工作中遇到的问题的参考。本次的阅读无任何需求背景，旨在复习和学习一下spark2.4，源码阅读分为两个部分，第一部分是spark应用程序完整的执行周期，尽量仔细的过一遍运行机制；第二部分是spark 架构各个...
2019-11-06 22:20:25
447
原创 Spark编译打包
一、文档说明1.1、文档描述Spark官网上提供的是已经编译打包好了的软件，这为我们学习和使用spark提供了方便，但是在真实的生产环境中部署spark组件，为了保证spark和hdfs以及yarn 的兼容性，我们需要自己来编译spark源码。本文描述了如何使用maven来编译打包spark源码1.2、阅读对象Spark 开发运维以及正在学习spark的同学二、编译...
2019-11-06 22:15:58
344
原创 Centos 7 搭建hadoop-2.6.0和spark1.6.0完全分布式集群教程 （最小化配置）
1、 环境系统：centos 7Hadoop version：hadoop-2.6.0SSH 面密码登陆JDK1.8.0_65 集群搭建步骤准备软件工作去官网上下载相关的软件启动hadoop用户的sudo 权限：visudoer 将用户配置到root用户组在/opt目录下创建software目录并修改权限归属为hadoop用户建立softwa
2016-06-22 23:11:09
729
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人