Spark
jaywangpku
专注于后台开发,对数据库,文件系统,云存储,分布式图计算框架与信息学竞赛亦感兴趣。
展开
-
编译Spark源码与单个子项目GraphX
编译Spark源码与单个子项目GraphX文章目录编译Spark源码与单个子项目GraphXSpark源码获取需要安装的支持环境配置环境编译spark源码编译前配置使用mvn进行编译使用./dev/make-distribution.sh 构建一个可发行的版本使用mvn编译单个子项目graphx系统环境:ubuntu18.04 LTS 初装Spark源码获取实验选用spark-2.2....原创 2018-10-14 01:53:50 · 551 阅读 · 0 评论 -
编译Spark源码与子项目GraphX中踩过的坑
编译Spark源码与子项目GraphX中踩过的坑原始目标:在三台虚拟机上真实分布式安装spark平台,并通过修改graphx对应的源码,观察graphx的分布式性能,为进一步做图划分做准备。官网文档:http://spark.apachecn.org/docs/cn/2.2.0/building-spark.html文章目录**编译Spark源码与子项目GraphX中踩过的坑****首先...原创 2018-10-14 13:44:10 · 711 阅读 · 0 评论 -
搭建Spark真实分布式运行环境
搭建Spark真实分布式运行环境文章目录搭建Spark真实分布式运行环境配置不依赖于HDFS的spark standslone模式准备工作配置基本环境配置免密登录分布式spark standalone 环境部署,不依赖于HDFS配置spark-env.sh文件配置 slaves.template 文件将配置好的spark文件分发至slaves机器启动spark测试添加slave1和slave2到...原创 2018-10-15 21:54:40 · 1787 阅读 · 1 评论