IntelliJ IDEA开发Spark1.4.0环境部署

原创 2015年07月09日 10:09:44
1:IDEA的安装
      官网jetbrains.com下载IntelliJ IDEA,有Community Editions 和& Ultimate Editions,前者免费,用户可以选择合适的版本使用。
根据安装指导安装IDEA后,需要安装scala插件,有两种途径可以安装scala插件:
  • 启动IDEA -> Welcome to IntelliJ IDEA -> Configure -> Plugins -> Install JetBrains plugin... -> 找到scala后安装。
  • 启动IDEA -> Welcome to IntelliJ IDEA -> Open Project -> File -> Settings -> plugins -> Install JetBrains plugin... -> 找到scala后安装。

如果你想使用那种酷酷的黑底界面,在File -> Settings -> Appearance -> Theme选择Darcula,同时需要修改默认字体,不然菜单中的中文字体不能正常显示。

2:建立Spark应用程序
      下面讲述如何建立一个Spark项目week2,该项目包含3个object:

  • 取自spark examples源码中的SparkPi
  • 计词程序WordCount1
  • 计词排序程序WordCount2

A:建立新项目
  • 创建名为dataguru的project:启动IDEA -> Welcome to IntelliJ IDEA -> Create New Project -> Scala -> Non-SBT -> 创建一个名为week2的project(注意这里选择自己安装的JDK和scala编译器) -> Finish。
  • 设置week2的project structure
    • 增加源码目录:File -> Project Structure -> Medules -> week2,给week2创建源代码目录和资源目录,注意用上面的按钮标注新增加的目录的用途。
 

  • 增加开发包:File -> Project Structure -> Libraries -> + -> java ->  选择
    • /app/hadoop/spark100/lib/spark-assembly-1.4.0-hadoop2.6.0.jar
    • /app/scala2104/lib/scala-library.jar可能会提示错误,可以根据fix提示进行处理
B:编写代码
      在源代码scala目录下创建1个名为week2的package,并增加3个object(SparkPi、WordCoun1、WordCount2):


C:生成程序包
      生成程序包之前要先建立一个artifacts,File -> Project Structure -> Artifacts  -> + -> Jars -> From moudles with dependencies,然后随便选一个class作为主class。


对artifacts进行配置,修改Name为week2,删除Output Layout中week2.jar中的几个依赖包,只剩week2项目本身。


Build -> Build Artifacts -> week2 -> rebuild进行打包,经过编译后,程序包放置在out/artifacts/week2目录下,文件名为week2.jar。

版权声明:本文为博主原创文章,未经博主允许不得转载。

Intellij Idea搭建Spark开发环境

在Spark快速入门指南 – Spark安装与基础使用中介绍了Spark的安装与配置,在那里还介绍了使用spark-submit提交应用,不过不能使用vim来开发Spark应用,放着IDE的方便不用。...
  • u012877472
  • u012877472
  • 2016年03月30日 14:24
  • 13527

【Spark】在window下搭建spark开发环境(IntelliJ IDEA)

概述本系列文章是个人的spark学习笔记。开发环境搭建说明
  • ssrc0604hx
  • ssrc0604hx
  • 2016年07月07日 09:41
  • 2771

Intellij IDEA开发环境配置及实际开发应用

软件开发随着时代的进步也在不断的进步,并且随着技术的不断更新,智能化逐渐成为软件开发的主流。智能开发的前提就是智能化的开发工具,整所谓上阵打仗,任你武功再好也不敌一枪打死,所以工具很重要,现在主流的开...
  • u013560667
  • u013560667
  • 2016年09月08日 13:18
  • 4397

Intellij IDEA 搭建Spark开发环境说明

  • 2016年07月04日 08:54
  • 886KB
  • 下载

GIS+=地理信息+云计算技术——SPARK for IntelliJ IDEA 开发环境部署

SPARK 开发环境部署 前言      在之前的文章中《Spark集群部署》中已经在OpenStack虚拟机环境下部署了由三个虚拟主机组成的Spark集群。在此基础上支持通过Spark Shel...
  • chinagissoft
  • chinagissoft
  • 2016年02月18日 17:25
  • 2167

Hadoop伪分布式环境部署及Spark、Intellij IDEA安装

Hadoop伪分布式环境部署及Spark、Intellij IDEA安装 环境信息及软件准备 系统信息: Linux promote 4.1.12-1-default #1 SMP ...
  • u011596455
  • u011596455
  • 2017年03月28日 21:28
  • 260

使用Intellij Idea搭建Spark开发环境

Intellij Idea下载地址:  本文选择右下角的Community Ultimate版本进行下载安装  本文使用的是MacOS 环境为: JDK1.8.0_144 Scala2....
  • wjf774219636
  • wjf774219636
  • 2018年01月03日 12:10
  • 17

Intellij IDEA开发环境搭建,scala配置及打包,jar包在spark中的运行

1. Intellij IDEA 开发环境搭建 最近在学习scala,除需要编写scala程序外,同时还需要创建maven工程,打成Jar包,而Eclipse在这方面显得使用的不是那么方面,同时由于I...
  • love666666shen
  • love666666shen
  • 2017年11月06日 22:11
  • 2024

利用Intellij Idea在windows搭建spark 开发环境(含打jar包过程)(一)

本文的目的:利用Intellij Idea在windows搭建spark 开发环境 环境:windows 10, intellij idea2016.1.1, spark 1.6.2(HDP),had...
  • books_csdn
  • books_csdn
  • 2017年01月16日 15:20
  • 2295

Spark Streaming+IntelliJ Idea+Maven开发环境搭建

国内关于Spark流处理方面的资料实在是少之又少,开发环境搭建上一些细节上的说明就更少了,本文主要介绍在Windows下通过IntelliJ Idea连接远程服务器的Spark节点,接收FlumeNG...
  • snoopy93
  • snoopy93
  • 2016年03月06日 11:50
  • 3116
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:IntelliJ IDEA开发Spark1.4.0环境部署
举报原因:
原因补充:

(最多只允许输入30个字)