spark第一步之通过idea工具开发spark——maven构建scala工程

最新推荐文章于 2022-02-28 14:55:38 发布
最新推荐文章于 2022-02-28 14:55:38 发布
阅读量218 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/panxiong1992luo/article/details/102971698
版权
本文介绍了如何在Windows环境下，通过IntelliJ IDEA配置Scala环境，安装Scala插件，创建Maven工程，并设置Scala支持。详细步骤包括安装JDK，下载Scala，配置环境变量，新建Scala Maven项目，创建源代码目录，编写Hello Scala程序。通过这些步骤，读者可以顺利开始Spark的Scala开发工作。
摘要由CSDN通过智能技术生成
一、windows系统scala环境搭建
  •        首先确保JDK1.8安装成功
  •       下载对应的Scala安装文件scala-2.11.8.zip
  •       解压scala-2.11.8.zip，我这里解压到E:\02_software
  •       配置Scala的环境变量
  • 测试
 
二、idea中scala插件安装
  • 在搜索插件框里面输入Scala->点击Install->点击ok->点击apply
  • 重启IDEA，再次来到Scala插件页面，已经变成Uninstall。
最低0.47元/天 解锁文章
Intellij IDEA使用Maven构建spark开发环境
徐先森的博客
05-12 4709
如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境，并基于scala编写简单的spark中wordcount实例。
idea spark scala maven环境搭建
努力在路上
04-19 4722
1.Windows开发环境配置与安装下载IDEA并安装，可以百度一下免费文档。2.IDEA Maven工程创建与配置1）配置maven2）新建Project项目3）选择maven骨架4）创建项目名称5）选择maven地址6）生成maven项目7）选择scala版本8）新建Java 和scala目录9）编辑pom.xml文件3.开发Spark Application程序并进行本地测试1）idea编写...
Spark_scala_Maven项目创建
asd547249091的博客
08-19 150
IDEA创建WordCount Maven项目 创建WordCount源文件 words.text 内容 this is one line this is two line WordCount源码 说明参考： https://www.cnblogs.com/studyNotesSL/p/11367751.html import org.apache.log4j.{Leve...
Spark之IDEA创建基于Scala语言的Spark Maven项目
weixin_45666566的博客
01-17 1748
创建MVN1、创建Maven工程1.1 新建一个工程1.2 设置Maven配置指向2、 首先我们需要搭建好相关的环境，包括：IntelliJ IDEA（官网上下载最新的就行了）、JDK（1.8）、Scala（2.12.12）、Spark(3.0.1)、Hadoop（2.7.4）Maven(如果你下载的是最新版的IDEA的话就不用下载了，因为IDEA里面已经自带了）（安装完后记得添加环境变量） 1、创建Maven工程 1.1 新建一个工程 创建出来就是这样的 1.2 设置Maven配置指向 Fi
Intellij IDEA使用Maven搭建spark开发环境（scala）
weixin_30751947的博客
11-24 604
如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境，并基于scala编写简单的spark中wordcount实例。 1.准备工作 首先需要在你电脑上安装jdk和scala以及开发工具Intellij IDEA，本文中使用的是win7系统，环境配置如下： jdk1.7.0_15 scala2.10.4 scala官网下载地址：http://www.sca...
上手提示：使用新版IDEA+Maven+Scala编写Spark程序
09-24
### 使用新版IDEA+Maven+Scala编写Spark程序的关键步骤 #### 一、理解IDEA在2017版中的变化 2017版的IntelliJ IDEA（简称IDEA）相较于之前版本，在界面设计与操作流程上进行了较大的改进与优化。对于初次接触这个...
基于IntelliJ IDEA开发Spark的Maven项目——Scala语言
热门推荐
Ganymede的Hadoop世界
07-05 3万+
基于IntelliJ IDEA开发Spark的Maven项目——Scala语言 Maven管理项目在JavaEE普遍使用，开发Spark项目也不例外，而Scala语言开发Spark项目的首选。因此需要构建Maven-Scala项目来开发Spark项目，本文采用的工具是IntelliJ IDEA 2016，IDEA工具越来越被大家认可，开发java, python ,scala 支持都非常好
解决Idea创建spark工程报错：Cannot resolve plugin org.scala-tools:maven-scala-plugin: unknown
AriesLY0411的博客
02-28 4383
不能解析plugin org。 scala工具:maven-scala-plugin:未知 解决方案： 首先：IDEA插件自动生成的pom文件中scala的版本是2.7，需要修改成与本地scala一致的版本号，我的是2.12.10 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="h.
spark idea环境配置（maven+scala)
Crypoor的博客
11-29 1613
1.新建项目，配置好对应的环境 （1）配置scala环境 settings=>Plugins=>搜索scala 可以看到idea中的scala版本，可以直接下载 下方三个按钮，第二个可以直接在idea下载（但是会比较慢） 第三个按钮，可以在网上下载上方对应的版本，下载在本地，然后在本地中选择下载好的scala 创建maven项目 配置pom文件 自动导入 <?xml ve...
spark-scala-maven实例
09-03
基于spark的scala maven实例项目两个简单的统计实例，适合初学者了解。 /** * 第一步：创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息， * 例如说通过setMaster来设置程序要链接的Spark集群的Master的URL，如果设置为 * local，则代表Spark程序在在本地运行 */
Spark大数据中文分词统计Scala语言工程源码
08-20
参考网络资源使用IKAnalyzer分词组件，实现了在Spark框架下使用Scala语言对唐诗宋词等国学经典进行中文分词统计排序的功能，你可以轻松发现唐诗宋词中最常用的词是那几个。
【四】Spark SQL中SQLContext的使用(从json文件中加载数据)
Sid小杰的博客
07-24 4013
SQLContext是Spark1.X中Spark SQL的入口点。 项目目录 pom.xml &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apa...
怎么使用Maven创建Scala-spark项目
qq_35090060的博客
12-03 284
打开IDEA，建立maven项目 新建project，选maven 创建好maven项目之后，在pom.xml文件中引入我们需要的包 增加框架 然后在项目目录右键，add Framwork Support 选择scala 导入spark 两种方式：1.使用maven添加 2.file-&gt;project structure-&gt;library-&gt;java-&gt;找到spark的ja...
使用IDEA构建Spark Scala开发环境（支持maven）
dechengtju的博客
10-17 536
转自：http://blog.csdn.net/liubiaoxin/article/details/50967875 1、打开Idea，新建maven工程 \ 新建maven项目成功后之后，就会看到如下工程结构： 2、修改pom.xml文件 增加如下内容: [html] view
idea通过maven创建scala项目及编写spark
qq_42400267的博客
12-12 355
file->new project->maven-> 填写gva： 配置maven版本，如果配置了镜像则读取自己的setting.xml next->finish !!! scala版本一定要对应 改成自己安装的版本，dos模式：scala --version 将自动生成的.scala文件删除： file->project structure spa...
spark maven项目加入scala
mthinking
12-31 248
POM文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="h...
Spark中IDEA Maven工程创建与配置
蔡政洁的博客
09-14 2241
目录一、IDEA Maven工程创建与配置二、开发Spark Application程序并进行本地测试三、 一、IDEA Maven工程创建与配置 二、开发Spark Application程序并进行本地测试 三、
【二】使用IDEA+Maven构建Spark(使用Scala语言)开发环境
Sid小杰的博客
07-16 657
这里用的scala的模板，因为后面spark编程会继续使用这个项目 选择本地maven的settings.xml文件。点击完成。 文件目录如下 删除掉不用的文件后 在src/main中添加一个java目录。点击project structure. 点击Modules，选择java文件目录，点击Sources，保存 在java目录下创建包 最后文件目录如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值