SparkStreaming 搭建《一》Win10可通用，供参考

最新推荐文章于 2024-07-01 02:25:02 发布

置顶

sinat_32176267

最新推荐文章于 2024-07-01 02:25:02 发布

阅读量1.5k

点赞数

分类专栏：大数据 Spark 文章标签： Spark Idea Windows

本文链接：https://blog.csdn.net/sinat_32176267/article/details/81740884

版权

本文档介绍了在Windows 10上配置Spark2.3.1、Scala2.11.8、JDK1.8、Hadoop2.6.5、Hive1.2.2、Kafka1.1.0和Hbase1.4.5的详细步骤，包括创建Idea Scala项目、转换为Maven项目、修改目录结构以及编写WordCount测试案例来验证环境。在配置过程中，可能会遇到jar包未加载的问题，通过在Idea中Reimport并设置特定参数可以解决。

摘要由CSDN通过智能技术生成

是在本地windows配的，具体的如何配置其实要搞的麻烦事很多，多百度吧。

编译环境：

Spark2.3.1

scala2.11.8

jdk1.8

hadoop2.6.5

hive1.2.2

kafka1.1.0

Hbase1.4.5

一、新建工程：File-scala-idea

二、指定工程名称，JDK版本，Scala版本。

三、这里你看到的是scala项目，但是我们一般常用的是mvn项目，这里需要单击工程，右键选择添加框架，填写maven架构

四、这里需要修改文件夹最好按照以下样式进行修改，点击Project Structuer仅供参考。

修改后的目录结构如下图：如果想替换该文件夹属性，点击上方的不同颜色的文件夹即可。

五、导入pom文件


    <properties>
        <spark.version>2.2.0</spark.version>
        <scala.version>2.11</scala.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.version}</artifactId>