配置spark源码阅读windows环境

原创 2016年06月01日 09:30:42

spark之所以不能世界用ide阅读,是因为需要经过sbt的一次build,有一些包才会补齐
要配置windows下的阅读环境很简单

1安装jdk

这个上orcla官网去下,是exe的,直接安装即可,记住jdk的安装目录

2安装idea

直接去下安装就可以

3运行idea

这里有两个需要注意的地方
第一个就是设置idea中jdk路径
在Configure -> Project defaults -> Project structure
有个设置sdk的地方,选择jdk,将上面安装的jdk路径导入
第二个就是安装插件
在plugin中搜索scala,安装scala和sbt

4下载源码

用git for windows
直接clone spark源码
git clone https://github.com/apache/spark

5 源码工程导入idea

import project-> sbt
慢慢等就好

版权声明:本文为博主原创文章,未经博主允许不得转载。

Intellij Idea环境下Spark源码阅读环境

1. 在windows下搭建 Spark源码阅读环境的准备 Spark源码是有Scala语言写成的,目前,IDEA对Scala的支持要比eclipse要好,大多数人会选在在IDEA上完成S...
  • youdianjinjin
  • youdianjinjin
  • 2016年04月01日 13:46
  • 1644

Windows下搭建Spark源码阅读与调试环境

了解和使用Spark有一段时间了,但是对Spark的一些原理和内部机制了解的不够深入,故打算研读一下Spark源码。今天首先介绍一下Spark源码阅读与调试环境的搭建。开发工具安装首先是一些必要的工具...
  • do_yourself_go_on
  • do_yourself_go_on
  • 2017年06月12日 17:32
  • 521

使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境

在本地搭建好Spark 1.6.0后,除了使用官方文档中的sbt命令打包,spark-submit提交程序外,我们可以使用IntelliJ IDEA这个IDE在本地进行开发调试,之后再将作业提交到集群...
  • u013527419
  • u013527419
  • 2016年10月19日 21:53
  • 1316

使用Intellij构建spark源码阅读环境

步骤1: 下载spark-源码,这里以spark1.3为例。 http://spark.apache.org/downloads.html 2.下载编译后的spark源码,这里下载根据Hadoo...
  • lisongfeng92130
  • lisongfeng92130
  • 2016年06月20日 15:52
  • 1613

在Mac下配置Spark源码阅读环境

(by 老杨,转载请注明出处) 一、本机环境     Macbook pro Retina     Scala 11.4     Jdk 1.6.05(目前,在Mac下安装IDEA社区版本...
  • yangmuted
  • yangmuted
  • 2014年12月16日 21:24
  • 1908

Spark开发环境及源码阅读环境配置

源码阅读环境配置:参考如下博文:Windows + IDEA + SBT 打造Spark源码阅读环境上面是在windows环境的配置,比较耗时,而且由于网络原因,很有可能出错;在linux环境下就比较...
  • yijichangkong
  • yijichangkong
  • 2015年09月03日 19:28
  • 1779

Spark-2.0 搭建源码阅读环境

下载:https://github.com/apache/spark.git 导入IDEA,file–open–选中根目录pom.xml,勾选自己所需要的模块与配置1. 导入后,在根目录pom.xm...
  • fz2543122681
  • fz2543122681
  • 2016年12月26日 15:20
  • 1028

Windows下搭建Hadoop(2.6.0) eclipse源码阅读环境

eclipse搭建hadoop2.6.0源码详细步骤
  • yhao2014
  • yhao2014
  • 2015年01月22日 11:39
  • 3270

【Spark】配置Spark源码阅读环境

Scala构建工具(SBT)的使用SBT介绍SBT是Simple Build Tool的简称,如果读者使用过Maven,那么可以简单将SBT看做是Scala世界的Maven,虽然二者各有优劣,但完成的...
  • JasonDing1354
  • JasonDing1354
  • 2015年05月28日 16:18
  • 1458

Windows+Pycharm+Spark环境配置

Windows+Pycharm+Spark环境配置
  • u010793236
  • u010793236
  • 2017年06月21日 14:57
  • 1369
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:配置spark源码阅读windows环境
举报原因:
原因补充:

(最多只允许输入30个字)