第一章：JAVA Spark的学习和开发【由浅入深】之搭建windows本地开发环境搭建

复习的面试资料

这些面试全部出自大厂面试真题和面试合集当中，小编已经为大家整理完毕（PDF版）

• 第一部分：Java基础-中级-高级

• 第二部分：开源框架（SSM：Spring+SpringMVC+MyBatis）

• 第三部分：性能调优（JVM+MySQL+Tomcat）

• 第四部分：分布式（限流：ZK+Nginx；缓存：Redis+MongoDB+Memcached；通讯：MQ+kafka）

• 第五部分：微服务（SpringBoot+SpringCloud+Dubbo）

• 第六部分：其他：并发编程+设计模式+数据结构与算法+网络

进阶学习笔记pdf

• Java架构进阶之架构筑基篇（Java基础+并发编程+JVM+MySQL+Tomcat+网络+数据结构与算法）

• Java架构进阶之开源框架篇（设计模式+Spring+SpringMVC+MyBatis）

• Java架构进阶之分布式架构篇 （限流（ZK/Nginx）+缓存（Redis/MongoDB/Memcached）+通讯（MQ/kafka））

• Java架构进阶之微服务架构篇（RPC+SpringBoot+SpringCloud+Dubbo+K8s）

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

系列文章目录

第一章：JAVA Spark的学习和开发【由浅入深】之搭建windows本地开发环境搭建

文章目录

• 系列文章目录
• 前言
• 一、安装包和环境准备
• 二、安装步骤
• • 1.安装及环境变量配置
    • 2.编写java spark代码
• 总结

---

前言

最近个人学习了一些大数据相关的开发技术，想分享给那些刚入门，不知道怎么入手开发的小伙伴们。文本主要介绍了如果在windows的环境下搭建单机版spark应用程序【java】

---

一、安装包和环境准备

spark安装包：spark-3.3.1-bin-hadoop3.tgz
hadoop安装包：hadoop-3.3.0.tar.gz
hadoop相关安装包：winutils-master.zip
jdk1.8安装包：jdk-8u401-windows-x64.exe
maven安装包：apache-maven-3.9.6-bin.zip
我的电脑用的是win11，最好是win10以上的环境去用，win7和win8没有测试过。

二、安装步骤

1.安装及环境变量配置

下载完成的spark、hadoop和winutils包解压缩，并统一放到磁盘的某个目录下
我的安装目录为：D:\bigdata

注意！ winutils-master包解压完成后进入目录

然后进入hadoop-3.0.0，把目录下的bin目录及文件复制替换到hadoop-3.3.0的bin目录中


以上步骤操作完成后，开始设置系统环境变量。
新建：HADOOP_HOME D:\bigdata\hadoop-3.3.0（此路径为我的安装路径）
新建：SPARK_HOME D:\bigdata\spark-3.3.1-bin-hadoop3（此路径为我的安装路径）

PATH变量新增：
%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin
%SPARK_HOME%\bin
%SPARK_HOME%\sbin

2.编写java spark代码

代码如下（示例）：

public static void main(String[] args) {
        getSparkCreate();
    }
    public static SparkSession getSparkCreate(){
        SparkSession sparkSession = SparkSession.builder().appName("sxw")
                .master("local[\*]") //单机版用local参数\*为使用可用线程执行
                .getOrCreate();
        List<user> ls = new ArrayList<>();
        user kk = new user();
        kk.setName("小明");
        kk.setAge(19);
        ls.add(kk);
        Dataset<Row> dataset = sparkSession.createDataFrame(ls,user.class);
        dataset.show();
        dataset.printSchema();
        return sparkSession;
    }



# 总结

其他的内容都可以按照路线图里面整理出来的知识点逐一去熟悉，学习，消化，不建议你去看书学习，最好是多看一些视频，把不懂地方反复看，学习了一节视频内容第二天一定要去复习，并总结成思维导图，形成树状知识网络结构，方便日后复习。

这里还有一份很不错的《Java基础核心总结笔记》，特意跟大家分享出来

**目录：**

![](https://img-blog.csdnimg.cn/img_convert/54175b28056fca18ba3c5398e9c94217.webp?x-oss-process=image/format,png)

**部分内容截图：**

![](https://img-blog.csdnimg.cn/img_convert/30f6fe075ad170b05e889a5ccd6dacb5.webp?x-oss-process=image/format,png)

![](https://img-blog.csdnimg.cn/img_convert/cb8c0546964b668f00e3ea6b038ac63f.webp?x-oss-process=image/format,png)



> **本文已被[CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)收录**

**[需要这份系统化的资料的朋友，可以点击这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

解析+核心总结学习笔记+最新讲解视频+实战项目源码】](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)收录**

**[需要这份系统化的资料的朋友，可以点击这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**