Spark2.1.0在windows下的单机环境搭建

最新推荐文章于 2024-06-18 10:34:22 发布
最新推荐文章于 2024-06-18 10:34:22 发布
阅读量8.4k 收藏 8
点赞数 4
分类专栏： Spark 文章标签： spark windows idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011669700/article/details/54615010
版权
本文详细介绍了在Windows环境中，如何搭建Spark 2.1.0的开发环境，包括将Spark安装包放在C盘，提取jar包到开发目录，使用IDEA创建项目并导入jar包，以及通过Scala实现WordCount示例进行验证。尽管spark-shell可能启动失败，但不影响在IDEA中本地运行Spark应用。
摘要由CSDN通过智能技术生成

该文用于讲解在windows下spark开发环境的搭建
因为现在网上的搭建多在于旧版本中，且还原系数难度很大

材料准备

(注：spark2.1.0环境于scala2.11环境开发，所以必须版本对应
scala不是必须安装的，如果你是打算使用scala进行spark开发，则需要安装

环境搭建步骤

将spark-2.1.0-bin-hadoop2.x版本至c盘下即可

解压

将spark中的jar包全部提取出来另外放到一地方用于进行开发

最低0.47元/天 解锁文章
寒沧
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Ubuntu下搭建spark2.4环境（单机版）
Tattoo
11-23 956
说明：单机版的Spark的机器上只需要安装JDK即可，其他诸如Hadoop、Zookeeper（甚至是scala）之类的东西可以一概不安装。 集群版搭建：Spark2.2集群部署和配置 一、安装JDK1.8 1、下载JDK1.8，地址 2、将下载的文件保存在 /home/qq/java下，进行解压，解压后文件夹为 jdk1.8.0_171： tar -zxvf jdk-8u171-linux-i5...
windows10——64位搭建大数据Spark环境（单机版的）
Python_Big_love的博客
08-20 2510
Spark版本：2.3.1 （最新版） hadoop版本：2.7 jdk版本：1.8.0 scala版本：官网最新版 第一步：首先安装jdk  一定要注意安装路径，我是安装在C盘，因为spark 环境搭建路径不能出现空格。 设置环境变量： 首先是JAVA_HOME 路径：C:\Java\jdk1.8.0_121 然后是CLASSPATH 路径： .;%JAVA_HOME%\...
windows搭建spark环境
qq_25091649的博客
10-21 3839
windows 安装spark ，scala（spark需要scala环境），spark，hadoop 安装
windows安装spark
weixin_41046245的博客
06-18 549
在 Windows 上安装 Spark 并进行配置需要一些步骤，包括安装必要的软件和配置环境变量。
安装spark1.3.1单机环境
apple01010105的博客
04-27 144
本文介绍安装spark单机环境的方法，可用于测试及开发。主要分成以下4部分： （1）环境准备 （2）安装scala （3）安装spark （4）验证安装情况 1、环境准备 （1）配套软件版本要求：Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala ...
Spark单机版集群
weixin_30929011的博客
07-12 88
一、创建用户 # useradd spark # passwd spark 二、下载软件 JDK，Scala，SBT，Maven 版本信息如下： JDK jdk-7u79-linux-x64.gz Scala scala-2.10.5.tgz SBT sbt-0.13.7.zip Maven apache-maven-3.2.5-bin.tar.gz 注意：如果只是安装S...
搭建Spark单机环境01
qq_56244269的博客
03-05 1429
目录 （一）通过SecureCRT访问ied虚拟机 登录master 登录master的密码与账号（root：p@ssw0rd) 更改名称 查看是否一样 （一）通过SecureCRT访问ied虚拟机 首先远程连接cm_win7虚拟机 安装并解压SecureCRT 启动cm_win7虚拟机上的SecureCRT 点击设置 登录master 设置master 登录master的密码与账号（root：p@ssw0rd) 同理登录slave1与s.....
spark以及大数据在windows下搭建环境的完全文档
04-19
本文档主要介绍如何在Windows环境下搭建Spark及相关的大数据处理环境，包括Java、Scala、Maven、IntelliJ IDEA、Hadoop、Spark以及Python等组件的安装与配置。通过本指南，用户能够了解各个组件的基本配置流程，以及...
spark2.1.0-bin-hadoop2.7
07-06
本文将详细介绍Spark 2.1.0与Hadoop 2.7的集成特性，以及如何在Linux环境中安装和使用这个版本。 一、Spark 2.1.0新特性 1. 性能提升：Spark 2.1.0通过改进内存管理和优化执行计划，显著提高了处理速度，尤其是在...
Windows10下手动安装CUDA10.1并在Anaconda 以及pycharm 中搭建TensroFlow2.1.0环境
08-21
在线安装CUDA接连失败的同学，初入人工智能、深度学习的小白
spark-2.1.0-bin-without-hadoop.tgz.7z
04-05
在安装与配置Spark 2.1.0时，用户需要根据自己的Hadoop环境，将相应的Hadoop配置文件（如core-site.xml、hdfs-site.xml）复制到Spark的conf目录下。此外，还需要设置SPARK_HOME环境变量，并在启动时指定master节点，...
Spark Standalone 单机版部署
10-17
Spark standalone 单机版部署，看了网上很多方法，事实证明都是错误的，本人亲身经历，在导师的指导下，成功配置成功单机版。
Spark环境搭建和使用方法
最新发布
07-11
从基础环境的准备、Spark安装包的下载配置，到在spark-shell中运行代码、编写独立应用程序，再到集群环境的搭建和在集群上运行应用，都进行了详尽的讲解。通过以上步骤，您可以快速地掌握Spark的基础操作，并为...
大数据时代--windows下spark的安装与配置教程
热门推荐
Silence-wen
10-19 3万+
Spark作为一个基于内存的开源计算框架，在这个大数据时代背景下，受到越来越多的开发者的喜爱，相对于Hadoop,Spark拥有对大量数据更快的处理速度，并且易于使用（支持多种开发语言）。比Hadoop具有更多的优点，怎能不让人想去尝试一下Spark的魅力呢？ 了解Spark的都知道Spark是用Scala写的，那么要想在windows下来运行Spark少不了的就要先安装Scala。 首先的在一个
【Spark笔记】Windows10 本地搭建单机版Spark开发环境
weixin_30415801的博客
06-09 1826
0x00 环境及软件 1、系统环境 OS：Windows10_x64 专业版 2、所需软件或工具 JDK1.8.0_131 spark-2.3.0-bin-hadoop2.7.tgz hadoop-2.8.3.tar.gz scala-2.11.8.zip hadoop-common-2.2.0-bin-master.zip（主要使用里面的winutils.exe） I...
【Spark】Windows下安装Spark（亲测成功安装）
tttzzzqqq2018的博客
08-02 1万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
Spark——在Windows单机安装spark
Tubby的博客
03-12 2929
Windows安装spark下载安装Java，安装版本为8下载spark安装包下载Hadoop支持包下载并安装pycharm和anaconda配置pycharm运行spark环境spark读取本地文件格式： 下载安装Java，安装版本为8 Java8下载地址 安装教程详见：菜鸟教程—Java安装 下载spark安装包 spark2.3.3下载地址 建议安装2.3.3版本，高版本的2.4.0在运行时...
在windows中搭建spark单机版
slibra_L的博客
09-07 3009
虽然要学习spark，选择linux的版本更合适，之前在台式机上配置了centos的虚拟机并安装了hadoop和spark，可是无奈笔记本性能不行，如果安装虚拟机会很卡，所以只能在windows中安装spark加以练习 1.1、jdk安装 安装Oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk...
spark windows 单机 安装
designpc的专栏
07-10 3665
0目标 单机windows上，运行spark 1  前期准备 jdk 1.7  2  下载spark 包 官网 http://spark.apache.org/downloads.html  下载响应的hadoop版本的spark，spark-1.6.2-bin-hadoop2.6，spark1.6.2,内嵌hadoop2.6，不要要without的 解压到D:\softwar
Spark2.1.0官方教程：理解与应用核心概念
- 在选择Spark版本时，注意Java版本兼容性，确保新版本的Spark与你的项目环境相匹配。 - 对于性能敏感的应用，理解RDD的生命周期管理（如何时创建、何时持久化、何时销毁）至关重要。 Spark 2.1.0是一个强大的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值