Windows + IDEA + SBT 打造Spark源码阅读环境

最新推荐文章于 2018-08-07 14:55:20 发布
最新推荐文章于 2018-08-07 14:55:20 发布
阅读量608 收藏 1
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weipanp/article/details/45043181
版权

Spark源码阅读环境的准备

Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。

本文介绍的是Windows下的各项配置方法（默认已经装了java，JDK）。

下面列举搭建此环境需要的各个组件：

  • IDEA，有两个版本：Ultimate Edition & Community Edition，后者是free的，而且完全能满足学习者所有的需求
  • Scala，Spark是用Scala语言写成的，在本地编译执行需要这个包
  • SBT，scala工程构建的工具
最低0.47元/天 解锁文章
weipanp
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java.lang.ClassNotFoundException: org.jetbrains.sbt.CreateTasks$
u012893747的博客
12-05 1196
用idea创建sbt+scala的项目时，有时候会报错 [error] java.lang.ClassNotFoundException: org.jetbrains.sbt.CreateTasks$ [error] at java.net.URLClassLoader.findClass(URLClassLoader.java:381) [error] at java.lang.ClassL...
idea导入(import)项目和打开(open)项目的区别
hery186的专栏
02-23 6680
转自   https://blog.csdn.net/jdk_wangtaida/article/details/81235605     前言： 每次接手老项目，都得从git或svn下载下来，但是如果之前的项目不是用idea写的怎么办，可是你又习惯啦idea,那你必须把项目在idea上跑起来，那是用import还是用open呢,如何抉择，这篇文章就是针对这种情况分析的 正文： 1.首先如...
Idea下用SBT搭建Spark Helloworld
Jason的专栏
01-21 1522
先下载Idea的社区版https://www.jetbrains.com/idea/download/download-thanks.html?platform=windows&code=IICScala、Spark环境安装完后下载Scala插件新建sbt工程这里需要注意，如果选择Spark2.0以上，那么Scala要选2.11以上。因为我用的是Spark2.0.2，所以就选择2.11.1，选择J
sbt+scala+idea安装配置创建导入sbt项目
11-25
基于windows10和jdk1.8的scala+sbt+idea的开发环境的详细安装教程，希望对您有用，后期还会更新，请关注，一起进步，谢谢！
Spark 源码编译完整教程（maven编译+sbt编译+编译工具包+操作步骤笔记+依赖包下载镜像设置）
03-08
自己学习并应用Spark一段时间后，由于需要改源代码，就研究了下怎么编译源码，成功编译后，记录下了编译的步骤和遇到的问题，例如编译过程中，下载大量的依赖包，默认从国外下载，非常慢，可能要编译好几个小时，...
IDEA+sbt配置1
08-08
解决办法：下载安装sbt,假设安装路径为 C:\Program Files (x86)\sbt创建文件（路径不存在就创建） C:\Users\raozhengf
教程-IDEA中配置sbt.docx
03-10
本教程旨在指导用户在 IDEA 中配置 sbt，以便更高效地管理项目和运行 Spark 程序。sbt 是一种基于 Scala 的构建工具，相比 Maven 更加高效和方便。 下载和安装 sbt 首先，用户需要下载 sbt 的安装包并将其安装在...
大数据资源整合，基于Cent不需要考虑版本兼容的问题Spark+Hadoop+Hive+Scala+sbt+ZooKeeper
最新发布
09-17
本方案集成了CentOS环境下的Spark、Hadoop、Hive、Scala、sbt和ZooKeeper,无需考虑版本兼容问题,可以直接用于大数据处理和分析。 【适合人群】 需要在CentOS下搭建大数据处理平台的工程师。 【包含内容】 - Spark ...
(*:update) Conflicting cross-version suffixes in: org.scala-lang.modules:scala-xml
喔哟哟哟哟
05-18 2835
异常如下： // 所有jar包依赖的Scala版本号必须一致， // 即所有以2.11结尾的jar(如spark-core_2.11)都依赖2.11.x版本的Scala，所以必须用2.11.x版本的Scala，否则会出现Scala包依赖冲突 [info] Loading project definition from D:\IdeaProjects\spark-practice\project
IDEA 导入项目时 “Import project from external model” 和 “Create project from existing sources”的选择
热门推荐
qq_2300688967的博客
08-07 3万+
1，如图所示，当我们导入一个项目时，常常见到下面的两个选择 1）Create project from existing sources 2）Import project from external model 2，区别： 1）如果选择Create project from existing sources选项， 则你只能导入使用idea创建的项目源码 2）如果选择Import pr...
sbt打包Scala写的Spark程序，打包正常，提交运行时提示找不到对应的类
weixin_34033624的博客
01-22 772
sbt打包Scala写的Spark程序，打包正常，提交运行时提示找不到对应的类 详述 使用sbt对写的Spark程序打包，过程中没有问题 spark-submit提交jar包运行提示找不到对应的类 解决 编译环境没有变化，将代码拷贝到其他项目下打包可以运行，无解 偶然发现IDEA打开的sbt文件显示很多错误，查看详情发现存在错误：java-lang-ClassNotFoundExceptio...
在IntelliJ IDEA中设置import project(本人导入的是java项目)
expect521的博客
07-24 2万+
File –>new module –> module from existing sources –> 点击finish即可导入完成 在terminal命令行中测试导入的项目是否可以正常运行。如：mvn test, mvn package, mvn install
IDEA调试sparksql,打包并提交运行
weipanp的专栏
04-17 6315
1、创建一个新的工程，参考spark的windows开发环境搭建 2、添加依赖 （1）scala依赖 org.scala-lang scala-library ${scala.version} org.scala-lang scala-compiler ${scala.version} org.scala-lang scala-reflect
spark的windows开发环境搭建
weipanp的专栏
04-14 2282
Spark1.2.1开发环境搭建(适合windows环境) 更多0 1.环境准备 下载scala并安装，最好下载imsi版直接双击安装 2.IDEA的安装 官网jetbrains.com下载IntelliJ IDEA，有Community Editions 和& Ultimate Editions，前者免费，用户可以选择合适的版本使用。 根据安装指导安装IDEA后，需要
spark部署一台机器时sparkstreaming无结果数据打印的问题
weipanp的专栏
06-02 1894
如： bin/run-example org.apache.spark.examples.streaming.NetworkWordCount localhost 9999 此时默认 --master 为 local . 这看起来毫无问题，但我在一台1核1G的主机上测试该样例，却永远无法成功。 原因这位老兄已道出： Note I experienced exactly the sa
maven编译spark1.2 on hadoop-2.6.0
weipanp的专栏
03-09 1281
1、安装maven (1)设置MAVEN_HOME （2）将$MAVEN_HOME/bin参加PATH变量。 （3）设置maven_opts内存参数 export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" 若不运行，编译时必定出现如下错误，因为spark编译需要很大的内存
我想在idea中搭建spark2版本的源码阅读调试环境，应该怎么做
08-06
搭建 Spark 2 版本的源码阅读和调试环境可以使用 IntelliJ IDEA。以下是具体步骤： 1. 下载 Spark 2 的源代码：可以从 Spark 官网下载最新版本的源代码。 2. 安装 IntelliJ IDEA：可以从 IntelliJ 官网下载最新...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值