spark环境搭建(idea版本)

📋前言📋 

💝博客主页:红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝

✍本文由在下【红目香薰】原创,首发于CSDN✍

🤗2022年最大愿望:【服务百万技术人次】🤗

一天学完spark的Scala基础语法教程一、基础语法与变量(idea版本)

一天学完spark的Scala基础语法教程二、运算符与分支语句(idea版本)

一天学完spark的Scala基础语法教程教程三、循环结构(idea版本)

一天学完spark的Scala基础语法教程四、方法与函数(idea版本)

一天学完spark的Scala基础语法教程五、闭包(idea版本)

一天学完spark的Scala基础语法教程六、字符串(idea版本)

一天学完spark的Scala基础语法教程七、数组(idea版本)

基础操作7篇文章,基本掌握Scala操作。


导读:

为了对初学者可以进行友好的交流,本文通过windows的idea快速搭建spark的运行环境,让初学者可以快速的感受spark带来的惊艳感受。

Linux效果更佳,但是对初学者没那么友好,咱们先搞定windows之后再琢磨就会容易很多。

那么接下来如果有环境的话大概5~7分钟就能搞定哦。

目录

📋前言📋

导读:

环境需求

正文

步骤一:安装【Scala】插件

步骤二、maven引包

         步骤三、创建Scala类


环境需求

环境:win10

开发工具:IntelliJ IDEA 2021.2

maven版本:3.6.3

正文

创建【maven】空项目的步骤我就省略了啊。直接进入主题:

步骤一:安装【Scala】插件

点击【左上角】的【File】,选择【Settings...】

选择【Plugins】在输入框中输入【Scala】等待几秒后,看到显示【Scala】点击【Install】当显示为【Installed】代表安装成功了。

步骤二、maven引包

打开【pom.xml】

初始状态:

输入以下编码内容:

    <!-- 基础配置 -->
    <build>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.1.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

粘贴位置:

需要重新加载一下maven

这里别急,需要等待,可能3分钟哦。

步骤三、创建Scala类

这里需要在创建位置点击【鼠标右键】依次选择【New】-【Scala Class】

输入个类名,并且需要选择【Object】类型,键盘敲击【Enter】回车即可。

项目结构如下:

 输入以下编码:

  def main(args: Array[String]): Unit = {
    print("hello world!")
  }

【鼠标右键】点击【Run】执行即可,第一次执行需要的时间比较长,请耐心等待,可能【1分钟】后才能出来结果哦。

最终效果如下:

恭喜你,搭建环境结束,您的第一个大数据【spark】的【Hello World】打印出来了。 

IDEASpark开发环境配置包括以下几个步骤: 第一步是下载并安装Spark和Hadoop的文件包。你可以在Spark官方网站上下载最新的Spark-hadoop文件包 。 第二步是在IDEA中安装Scala插件,并重启IDEA。这可以通过在IDEA的插件市场中搜索Scala来完成。 第三步是创建一个Maven项目,并选择Scala语言。在创建项目时,还需要添加Spark和HBase的依赖 。 第四步是配置Scala SDK,并将其添加到项目中,以便为项目添加Scala支持。可以在IDEA的设置中找到Scala SDK的配置选项。 第五步是在src/main/scala目录下创建一个Scala对象,并编写Spark代码。这样你就可以开始开发Spark应用程序了。 最后一步是测试Spark应用程序。在本地模式下运行测试,并确保应用程序能够正常工作。然后将应用程序打包成jar包,并上传到虚拟机中的master节点。使用spark-submit命令将jar包提交到集群进行运行。 这些步骤将帮助你在IDEA中配置和搭建Spark开发环境,让你可以方便地进行Spark应用程序的开发和调试。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Intellij IDEA编写Spark应用程序的环境配置和操作步骤](https://blog.csdn.net/weixin_40694662/article/details/131172915)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Windows下配置IDEASpark开发环境](https://download.csdn.net/download/weixin_38546608/14886446)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

红目香薰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值