Spark
文章平均质量分 71
lyjshen
这个作者很懒,什么都没留下…
展开
-
spark源码编译后记
最近准备动手实践一下spark的源码编译安装,折腾了好久,最后也被折磨了好久,在此记录一下并安抚一下一连几天来郁闷的心情。先陈述一下背景:之前,我从spark官方的github网页上下载下来了一个最新的master分支的源码包(不是git clone),版本是1.6.2的zip。编译之前也各种百度,按照网上资料的步骤一步一步走。经过了漫长蛋疼的等待时间之后,报错了,提示找不到jar依赖,只好又去翻个原创 2016-08-11 16:14:49 · 2094 阅读 · 0 评论 -
Spark 启动脚本分析
一般的启动集群途径是执行位于SPARK_HOME/sbin目录下的start-all.sh脚本文件,我们来看一下这里边都有些什么猫腻(强烈建议,查看本文之前先去学习一下shell的编程基础)。start-all.sh: 这个文件是一个总控脚本,它会调用其他的脚本来完成整个集群的启动。#!/usr/bin/env bash# Licensed to ... --省略授权信息# Start all sp原创 2016-08-12 14:49:42 · 1712 阅读 · 0 评论