Windows下配置IDEA开发Spark(spark和hive整合，IDEA中standalone、yarn直接执行)

最新推荐文章于 2024-05-20 16:20:35 发布
最新推荐文章于 2024-05-20 16:20:35 发布
阅读量1.1k 收藏 16
点赞数 1
分类专栏： spark 文章标签： hadoop spark hdfs intellij idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laoda137/article/details/107752542
版权

Windows下配置IDEA开发Spark(spark和hive整合，IDEA中standalone、yarn直接执行)

本文介绍Windows下如何配置IDEA开发Spark，spark和hive整合，IDEA中standalone、yarn的方式运行代码的配置。

环境信息
Windows 10 X64
JDK1.8.0_191
Scala 2.11.12
Maven 3.6.1
Hadoop 2.6.0
IntelliJ IDEA 2020.1.1 x64

一、工具安装

1、Java JDK

Jdk下载
https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html
在这里插入图片描述
下载后直接默认安装，配置环境变量
右键计算机“属性”->“高级系统设置”->“高级”->“环境变量” -> “新建” JAVA_HOME
在这里插入图片描述
新建 CLASSPATH
.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar;

在这里插入图片描述
增加path
在这里插入图片描述
“win+r”键输入cmd，输入java -version，查看jdk是否配置成功
在这里插入图片描述

2、Scala

下载scala
https://www.scala-lang.org/download/2.11.12.html
在这里插入图片描述
下载完，解压到自己的安装目录，配置环境变量SCALA_HOME
在这里插入图片描述
增加path
%SCALA_HOME%\bin

在这里插入图片描述
验证scala是否配置成功
在这里插入图片描述

3、Maven

Maven下载
https://archive.apache.org/dist/maven/maven-3/3.6.1/binaries/
在这里插入图片描述
下载后解压到自己的安装目录，配置环境变量 MAVEN_HOME
在这里插入图片描述
增加path
%MAVEN_HOME%\bin
在这里插入图片描述
验证maven是否配置成功
在这里插入图片描述

4、Hdoop

下载hadoop
https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/
在这里插入图片描述
下载完解压到自己的安装目录，配置环境变量 HADOOP_HOME
在这里插入图片描述
下载 hadoop-common-2.6.0-bin
https://github.com/amihalik/hadoop-common-2.6.0-bin
在这里插入图片描述
下载后解压，把bin下的文件拷贝到hadoop的安装目录的bin下
在这里插入图片描述

5、IntelliJ IDEA

下载
https://www.jetbrains.com/idea/download/other.html
在这里插入图片描述
可以安装免费社区版本，默认安装即可

二、配置IDEA

1、安装scala插件

打开IDEA，右下角
在这里插入图片描述
搜索scala，安装即可
在这里插入图片描述
如果下载比较慢，可以单独下载scala插件，手动安装
https://plugins.jetbrains.com/plugin/1347-scala/versions
下载和IDEA对应的版本
在这里插入图片描述
下载完，点IDEA这里安装
在这里插入图片描述

2、全局maven配置

点击“setting”
在这里插入图片描述
搜索“maven”，选择已安装的maven，设置setting.xml和repository路径
在这里插入图片描述
修改maven的settings.xml文件
添加自己本地资源库路径

<localRepository>C:\Apache\apache-maven-3.6.1\repository</localRepository>

在这里插入图片描述
添加国内镜像

<mirror>
     <id>alimaven</id>
     <name>aliyun maven</name>
     <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
     <mirrorOf>central</mirrorOf>        
</mirror>

在这里插入图片描述

3、设置jdk

在这里插入图片描述
选择已安装的jdk
在这里插入图片描述
选择已安装的scala
在这里插入图片描述
在这里插入图片描述

三、通过maven创建项目

1、HelloWorld

通过maven创建scala项目
点击“Create New Project”
在这里插入图片描述
选择maven，点Next
在这里插入图片描述
输入项目名称和路径
在这里插入图片描述
右击项目，添加scala
在这里插入图片描述
在这里插入图片描述
在src -> main下可以创建scala目录，单独放scala开发的程序
在这里插入图片描述
右键，设置scala路径为“Sources Root”
在这里插入图片描述
右键，新建scala类
在这里插入图片描述
输入类名HelloWorld，选Object
在这里插入图片描述
HelloWorld代码

object HelloWorld {
  def main(args: Array[String]): Unit = {
    println("Hello World")
  }
}

运行
在这里插入图片描述

2、Spark开发WordCount

添加 spark开发依赖
修改pom.xml,添加以下

<properties>
        <hadoop.version>2.6.0</hadoop.version>
        <spark.version>2.2.0</spark.version>
        <scala.version>2.11</scala.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.26</version>
        </dependency>
</dependencies>

刷新maven
在这里插入图片描述
或这里刷新maven
在这里插入图片描述
新建WordCount类，代码如下

import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
       //本地模式运行
      .setMaster("local[4]")
      .setAppName("wordcount")
    val sc = new SparkContext(conf)
    //读取hdfs文件
    val fileRDD=sc.textFile("hdfs://cdh513:8020/testdatas/input/words.txt")
    //读取本地文件
    //val fileRDD=sc.textFile("file:\\C:\\WorkSpaces\\testdatas\\input\\words.txt")
    val wordRDD=fileRDD.flatMap(_.split(" "))
    val groupRDD = wordRDD.map((_,1)).reduceByKey(_+_)
    val wordCountArray = groupRDD.collect()
    println(wordCountArray.mkString(","))
  }
}

hdfs://cdh513:8020/testdatas/input/words.txt是本人hdfs路径的下测试文件，需要Windows配置hosts，直接访问hdfs域名，或直接用IP替换。或用本地文件 file:\C:\WorkSpaces\testdatas\input\words.txt。
words.txt内容
hello word
hello hadoop
hello spark
hello hive

直接运行如下：
在这里插入图片描述

3、Maven打jar设置

File 下点击
在这里插入图片描述
点击
在这里插入图片描述
删除多余的jar，保留项目名“SparkDemo”jar即可。还可以在这设置jar名称和路径
在这里插入图片描述
删除后如下
在这里插入图片描述
点 Build- Build Artifacts…
在这里插入图片描述
点 Build
在这里插入图片描述
在项目下会生成out文件夹，下面有生成的jar
在这里插入图片描述
可以把生成的jar发到spark集群运行
在这里插入图片描述

4、设置远程spark-standalone执行

代码中设置standalone主机和本地jar路径，即可直接运行
.setMaster(“spark://cdh513:7077”).setJars(List(“C:\WorkSpaces\SparkDemo\out\artifacts\SparkDemo_jar\SparkDemo.jar”))
代码如下

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    // 设置master为standalone模式，设置本地编译的jar路径。此时spark集群应该是开启状态     .setMaster("spark://cdh513:7077").setJars(List("C:\\WorkSpaces\\SparkDemo\\out\\artifacts\\SparkDemo_jar\\SparkDemo.jar"))
      .setAppName("wordcount")

    val sc = new SparkContext(conf)
     
    //此处要使用hdfs上的文件，本地文件可能找不到
    val fileRDD=sc.textFile("hdfs://cdh513:8020/testdatas/input/words.txt")
    val wordRDD=fileRDD.flatMap(_.split(" "))
    val groupRDD = wordRDD.map((_,1)).reduceByKey(_+_)

    val wordCountArray = groupRDD.collect()
    println(wordCountArray.mkString(","))
  }

}

运行如下

SparkSession下直接设置standalone的主机即可，不用指定本地jar路径
代码如下

import org.apache.spark.sql.SparkSession

object SparkSQL {
  def main(args: Array[String]): Unit = {

    val spark: SparkSession = SparkSession
      .builder
      //设置master为standalone模式
      .master("spark://cdh513:7077")
      .appName("SparkSQL")
      .getOrCreate()
    //此处最好是hdfs文件，本地文件可能读取不到
    val jsonDF = spark.read.json("hdfs://cdh513:8020/testdatas/input/user.json")
    jsonDF.createOrReplaceTempView("user")
    spark.sql("select * from user").show
spark.stop()
  }
}

在这里插入图片描述

5、SparkHive配置

把hive-site.xml放到resources下，就可以通过spark-sql操作hive了
新建 SparkHive类
在这里插入图片描述
代码如下

import org.apache.spark.sql.SparkSession

object SparkHive {
  def main(args: Array[String]): Unit = {

    val spark: SparkSession = SparkSession
      .builder
      .master("local[*]")
      .appName("SparkSQL")
      //使hive生效
      .enableHiveSupport()
      .getOrCreate()
    // 读取hive中的表
    spark.sql("select * from lxs.student").show

    spark.stop()
  }
}

6、SparkOnYarn配置

在IDEA里直接运行在yarn集群，
把core-site.xml,hdfs-site.xml,yarn-site.xml放到resources下
在这里插入图片描述
添加spark-yarn包
在这里插入图片描述
从spark安装目录下找
在这里插入图片描述
新建 SparkOnYarn类
代码如下

import org.apache.spark.sql.SparkSession
object SparkOnYarn {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession
      .builder
      // 设置mater为spark on yarn模式
      .master("yarn")
      .appName("SparkSQL")
      .enableHiveSupport()
      .getOrCreate()
    // 读取hive中的表
    spark.sql("select * from lxs.student").show
    spark.stop()
  }
}

运行如下
在这里插入图片描述

laoda137
关注
  • 1
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Windows Spark On YARN 提交任务到CDH集群
fansy1990的专栏
01-05 6604
软件版本：IDE：Intellij IDEA 14，Java：1.7，Tomcat：7，CDH：5.8.0； Spark：1.6.0-cdh5.8.0-hadoop2.6.0-cdh5.8.0 ； Hadoop：hadoop2.6.0-cdh5.8.0；部署环境：1. 在Windows10 上启动IDEA ，并启动Tomcat，在Tomcat中使用Spark On YARN的方式调用封装好的Spa
windows下pyspark访问hive所需的环境搭建
热门推荐
小小明-代码实体的专栏
05-03 2万+
文章目录windows下pyspark访问hive所需的环境前提搭建hadoop2.7.2修改hadoop配置格式化hdfs测试搭建spark-2.4.5解压hive-2.1.0创建hive元数据库的schema测试spark-sql测试hivejupyter中使用pyspark使用pyspark访问本地hive测试pyspark 前言 学习大数据最困难的就是入门时的环境搭建，虽然那是对理解原理...
如何在IDEA IDE 开发环境中直接以 Yarn 方式提交Spark 代码到远端 Yarn集群运行
最新发布
weixin_37610464的博客
05-20 952
IDEA IDE 中直接以Yarn 方式调试Spark 程序，无需打包上传
IDEA Windows下Spark连接Hive
wsjslient的博客
11-21 1896
IDEA Windows下SPARK连接Hive
在 idea上用编写spark程序链接hive
weixin_52803142的博客
12-04 928
在 idea上用编写spark程序链接hive 在idea 上编写spark程序，pom文件上要包含hive依赖,网上大把，链接hive其实可以不用将hdfs,core等文件加入程序，直接在代码中声明 metastore服务的地址，和 hive在hdfs上的储存路径 def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local").setAppName("kks") val spark =
IDEA中Spark整合hive案例
wanjialin的博客
12-10 908
准备工作： 需要IDEA配置好Scala 操作步骤： 1、新建一个maven工程 2、新建一个Scala类 3、导入依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version
Spark整合Hive(IDEA远程连接集群运行)
weixin_44005485的博客
03-26 769
一. 前置准备 1.1 下载windows环境所需的hadoop-common-2.2.0-bin-master插件 下载地址 1.2 确保远程的hadoop集群已启动 二. 代码实现 2.1 引入spark整合hive的依赖 2.1 拷贝集群中hive-site.xml文件到IDEA的resource目录下 2.2 拷贝集群中hive-site.xml文件到IDEA的resour...
idea中通过spark访问hive
01-07
IDEA中使用Spark SQL 连接Hive 折腾了两个小时，好久没有弄了，记录一下 一、复制hive-site.xml 复制hive-site.xml到idea工程中的resource目录下 二、在windows中安装hadoop并配置环境变量 1、解压hadoop 2、修改...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
spark下安装hive配置文件hive-site.xml
03-24
spark下安装hive标准配置文档。Ubuntu安装hive，并配置mysql作为元数据库时候需要的标准hive-site.xml配置文件，可以根据这个文件联系我的博文内容就行修改，避免入坑。实现快捷启动hive。
springboot整合spark连接远程服务计算框架使用standAlone模式
08-15
在现代大数据处理领域，Spark作为...在Standalone模式下，我们可以方便地在Spring Boot应用中启动和管理Spark任务，进行远程服务计算。这种方式为开发者提供了灵活性和便利性，便于在微服务架构中嵌入大数据处理能力。
windows中使用yarn-cluster模式提交spark任务
12-11
windows中使用yarn-cluster模式提交spark任务，百度找不着的啦，看我这里。另外spark的版本要使用正确哦 更简单的方式参考： https://blog.csdn.net/u013314600/article/details/96313579
Spark和Hive的结合（让hive基于spark计算）
01-07
spark和hive结合 1.安装mysql 2.在spark/conf中创建一个hive-site.xml    javax.jdo.option.ConnectionURL  jdbc:mysql://192.168.224.132:3306/hive?createDatabaseIfNotExist=true  JDBC connect string for ...
idea中Spark操作Hive
m0_63086929的博客
11-09 1281
idea中Spark操作Hive
Sparksql On Hive（idea与spark-shell）
Mogeko1的博客
04-26 671
Sparksql On Hive（idea与spark-shell）
在Idea里面远程提交spark任务到Spark集群（StandAlone模式），调试代码
x²＋(y－√³x²)²＝1的博客
01-26 4045
解决使用Navicat 打开 Linux远程连接mysql很慢的方法 1.在linux 下暂时关闭 mysql服务 service mysql stop 2.找到目录 /usr 下的 my.cnf 在最后一行加入 skip-name-resolve 保存 3.再次启动mysql service mysql start
spark sql读取hive底层_IDEA，SparkSql读取HIve中的数据
weixin_28972529的博客
01-15 465
传统Hive计算引擎为MapReduce，在Spark1.3版本之后，SparkSql正式发布，并且SparkSql与apache hive基本完全兼容，基于Spark强大的计算能力，使用Spark处理hive中的数据处理速度远远比传统的Hive快。在idea中使用SparkSql读取HIve表中的数据步骤如下1、首先，准备测试环境，将hadoop集群conf目录下的core-site.xml、h...
ieda 远程调试hive_Spark – 使用IDEA远程调试位于Yarn-Client模式下的Spark集群相关配置...
weixin_39682673的博客
12-22 203
环境介绍我使用的是基于Ambari 的 HDP-2.6.1.0-129的Hadoop环境1.Spark 1.6.32.Scala 2.10.6(可以使用2.11以后的 版本)开发环境是IDEA 2017.2版本，使用sbt进行编译。新建工程使用IDEA进行工程创建在此不赘述，需要注意的是如果在创建工程时没有选择正确的scala版本，可以在项目内的build.sbt文件中修改为正确的scala版本依...
使用idea集成开发工具， 使用sparksql对hive数据进行操作报错 Error creating transactional connection factory javax.jdo.JDOF
T_Y_F_的博客
12-20 910
使用idea集成开发工具， 使用sparksql对hive数据进行操作报错 Error creating transactional connection factory javax.jdo.JDOF
windows下idea使用spark连接hive
06-28
在Windows下使用IntelliJ IDEA连接Spark和Hive，需要进行以下步骤： 1. 安装Java和Spark：首先需要安装Java和Spark，并设置环境变量。 2. 下载Hive JDBC驱动：从Apache Hive官网下载Hive JDBC驱动，并将其添加到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值