![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
FeelBreak
这个作者很懒,什么都没留下…
展开
-
Spark on kubernetes 外部文件系统
Spark on kubernetes 外部文件系统(存储系统)glusterfs篇搭建glusterfs环境我的glusterfs环境需求需求量设备数量3操作系统CentOS7.3hostname三台设备的hostname分别为glusterfs-spark-1,glusterfs-spark-2,glusterfs-spark-3安装glus...原创 2020-04-24 12:55:54 · 717 阅读 · 0 评论 -
Spark on kubernetes 环境搭建
Spark on kubernetes环境搭建实验要求键值kubernetes集群版本1.15spark版本 2.4.5私建docker仓库已经被kubernetes集群的docker信任jdk1.8scala2.12构建kubernetes单机测试的话,可以使用minikube为每一台kubernetes节点,下载jdk和Sc...原创 2020-04-20 15:05:35 · 1765 阅读 · 10 评论 -
Spark 作业提交、分发、执行的大致流程
Spark on Yarn WordCount的执行流程本篇内容脚本提交篇SparkSubmit 类的main函数Spark WordCount的用户代码WordCount程序的执行流程创建SparkConf创建SparkContextSparkContext类图 ![SparkContext类图](https://img-blog.csdnimg.cn/20190702163232112.png...原创 2019-07-02 17:47:25 · 1169 阅读 · 0 评论 -
Spark standalone 与 GlusterFS 配合使用
Spark with glusterfs测试设备架构测试环境搭建过程搭建GlusterFS,测试环境中用的是两个节点做GlusterFS,备份数是两份搭建Spark Standalone环境,三台机器做Spark Standalone集群,其中每台GlusterFS上都要配置为Spark的Worker机三台Spark机器上都要挂载glusterfs的文件到同一个目录mount -t ...原创 2019-09-10 16:09:24 · 334 阅读 · 0 评论