超简单,windows配置Spark环境实现IDEA运行spark代码(解决为何不能新建scala.class文件问题)

IDEA配置scala环境:https://blog.csdn.net/qq_40343117/article/details/100923820

1、首先我们打开IDEA,新建一个MAVEN项目。

在这里插入图片描述在这里插入图片描述名字自己起:
在这里插入图片描述##### 2、然后我们找到pom.xml文件,修改内容。

在这里插入图片描述输入:

大家将配置代码输入pom.xml的 《project 》《 /project》之内,这次的不用修改它的配置版本,因为scala和spark一定要适配的版本才会在运行的时候没有乱七八糟的bug或者 错误,这里的代码是我自己测试可以使用的,大家不可以也可以上网找一些其他的攻略。
    <properties>
        <spark.version>2.1.1</spark.version>
        <scala.version>2.11.9</scala.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>


    </dependencies>


    <build>
        <plugins>
            <plugin> <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <version>2.15.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>


            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.6.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>2.19</version>
                <configuration>
                    <skip>true</skip>
                </configuration>
            </plugin>
        </plugins>
    </build>
3、更改pom.xml右下角会提示import changes,我们单击后就会自己下载对性的maven jar包自己配置好环境,大家等待完成后,如果不能新建scala文件,请右键项目选择:

在这里插入图片描述
在红框内找到scala勾选,单击OK就可以,我是已经配置过了,所以这里没有显示,还没有的回到开头,点击链接检查一下自己的scala配置问题。
在这里插入图片描述

4、这就配置完成了,大家可以测试代码是否可以正常运行了

WORD COUNT 例题:

object WordCount {
  def main(args: Array[String]): Unit = {
      val conf = new SparkConf()
        .setAppName("wordcount")
        .setMaster("local")
      val sc = new SparkContext(conf)
      val textFile = sc.textFile("hdfs://h01:9000/scala/README.md"
      val wordsRDD = textFile.flatMap(_.split(" "))
      val wordCountRDD = wordsRDD.map((_, 1)).saveAsTextFile("file:\\E:\\out")
      sc.stop
    }
}

在这里插入图片描述在这里插入图片描述完美运行!!===============================================================

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值