配置spark源码阅读windows环境

原创 2016年06月01日 09:30:42

spark之所以不能世界用ide阅读,是因为需要经过sbt的一次build,有一些包才会补齐
要配置windows下的阅读环境很简单

1安装jdk

这个上orcla官网去下,是exe的,直接安装即可,记住jdk的安装目录

2安装idea

直接去下安装就可以

3运行idea

这里有两个需要注意的地方
第一个就是设置idea中jdk路径
在Configure -> Project defaults -> Project structure
有个设置sdk的地方,选择jdk,将上面安装的jdk路径导入
第二个就是安装插件
在plugin中搜索scala,安装scala和sbt

4下载源码

用git for windows
直接clone spark源码
git clone https://github.com/apache/spark

5 源码工程导入idea

import project-> sbt
慢慢等就好

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Spark源码阅读环境搭建[Windows版]

近期要开始阅读Spark的源码了,董的博客里的 这篇文章 已经把大致的环境搭建思路说得很清楚了。不过由于我没有专用的Linux工作机,在VM里开IDE阅读代码不仅对我8GB内存的小本是种摧残,对我...

spark2.1源码分析1:Win10下IDEA源码阅读环境的搭建

spark2.1源码分析:Win10下源码阅读环境的搭建

Spark-IDEA源码阅读环境搭建(Windows)

一、源码下载和IDE安装下载Spark源码和 Intellij IDEA并安装二、jdk和scala安装1. jdk下载jdk并安装完成后,环境变量配置省略,可以参考 http://blog.csd...

Windows + IDEA + SBT 打造Spark源码阅读环境

转一篇在Windows中的idea下,利用sbt制作spark源码阅读环境的文章。 个人觉得想要从事spark的工作,阅读spark源码非常重要。鄙人当年搞Linux驱动开发时,也是一个劲的阅读Li...

windows下搭建Spark1.6源码调试阅读环境

**零.看源代码宗旨** 1.有目的性,要知道自己看什么。 2.先看系统流程,知道各个组件功能及交互关系。 3.深入某个组件,比如yarn资源调度平台。 4.准...

使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境

在本地搭建好Spark 1.6.0后,除了使用官方文档中的sbt命令打包,spark-submit提交程序外,我们可以使用IntelliJ IDEA这个IDE在本地进行开发调试,之后再将作业提交到集群...

Spark开发环境及源码阅读环境配置

源码阅读环境配置:参考如下博文:Windows + IDEA + SBT 打造Spark源码阅读环境上面是在windows环境的配置,比较耗时,而且由于网络原因,很有可能出错;在linux环境下就比较...

Windows下配置Storm源码阅读环境(vim+ctags)

2014年7月29日 此处为Win7 64位系统。 1. 安装vim 下载vim的Win64版本:http://vim-win3264.googlecode.com/files/...

【Spark】配置Spark源码阅读环境

Scala构建工具(SBT)的使用SBT介绍SBT是Simple Build Tool的简称,如果读者使用过Maven,那么可以简单将SBT看做是Scala世界的Maven,虽然二者各有优劣,但完成的...

IntelliJ(IDEA)Spark源码阅读环境

依赖:IDEA(IntelliJ,前文已经安装),Scala(前文已经安装),SBT,GIT,Spark源码1.SBT安装                1)官网下载压缩包http://www.sc...
  • AlinaYe
  • AlinaYe
  • 2015年09月15日 10:40
  • 628
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:配置spark源码阅读windows环境
举报原因:
原因补充:

(最多只允许输入30个字)