Scala-字符串数组统计

最新推荐文章于 2023-11-15 09:55:32 发布

X ゜

最新推荐文章于 2023-11-15 09:55:32 发布

阅读量606

点赞数 1

分类专栏： Scala 文章标签： spark 大数据 maven hadoop scala

本文链接：https://blog.csdn.net/weixin_44625302/article/details/108872914

版权

Scala 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

该博客介绍了如何配置Hadoop环境，然后利用Scala和Spark进行数据处理。通过配置pom.xml文件，引入Spark核心和流处理依赖，创建Spark应用程序并读取文件，对数据进行分词、计数和聚合操作。最后，展示了如何打包和运行代码，输出每个单词出现的次数。

摘要由CSDN通过智能技术生成

1.需要配置hadoop环境

在这里插入图片描述

2.pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>org.example</groupId>
    <artifactId>Scala02</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>2.1.1</version>
            <scope>compile</scope>
        </dependency>
    </dependencies>
    <build>
    <plugins>
        <!-- 该插件用于将Scala代码编译成class文件 -->
        <plugin>
            <groupId>net.alchim31.maven</groupId>
            <artifactId>scala-maven-plugin</artifactId>
            <version>3.2.2</version>
            <executions>
                <execution>
                    <!-- 声明绑定到maven的compile阶段 -->
                    <goals>
                        <goal>testCompile</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-assembly-plugin</artifactId>
            <version>3.0.0</version>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
    </build>
</project>

3.编译代码

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Test {
  def main(args: Array[String]): Unit = {
    //创建Spark运行配置对象

    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //创建Spark上下文对象
    val sc : SparkContext = new SparkContext(sparkConf)

    //读取数据文件
    val fileRDD : RDD[String] = sc.textFile("input/")
    //将文件中的数据进行分词
    //_代表  “scala python go java c”
    val wordRDD : RDD[String] = fileRDD.flatMap(_.split(" "))
    //转换数据结构(scala,1)
    val wordOnceRDD : RDD[(String,Int)] = wordRDD.map((_, 1))
    //聚合数据(scala,1,1,1,1)
    val wordTwoRDD : RDD[(String,Int)] = wordOnceRDD.reduceByKey(_+_)

    val wordTwoCount = wordTwoRDD.collect()
    //打印在控制台
    wordTwoCount.foreach(println)
    //关闭spark
    sc.stop()
  }
}