Windows 10 安装Spark2.1

最新推荐文章于 2024-06-03 20:18:22 发布
最新推荐文章于 2024-06-03 20:18:22 发布
阅读量550 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxg117/article/details/76963472
版权
下载并解压
    spark-2.1.0-bin-hadoop2.7
    hadoop-2.7.3
    scala-2.12.1

下载winutils.exe。 这里https://github.com/sdravida/hadoop2.6_Win_x64.git

复制 winutils.exe 到hadoop-2.7.3\bin，并执行 "winutils.exe chmod 777 D:\tmp\hive"

设置环境变量HADOOP_HOME, SCALA_HOME。

运行 spark-2.1.0-bin-hadoop2.7\bin>spark-shell.cmd
Andy__Han
关注
Windows下安装Canal，Kafka，Flink，Spark
someInNeed的博客
08-28 555
https://flink.apache.org/downloads.html地址下去下载flink 找到 flink-1.8.1-bin-scala_2.11.tgz 这个安装包，Flink1.8对应的scala2.11版本 进入bin目录，点击start-cluster.bat 然后进入地址http://localhost:8081/这样就好了 运行自带的example程序： 进入cmd，目录切到bin目录下 先直接 D：切到D盘 flink.bat run ../exampl...
Spark2.1下载包
04-13
spark大数据学习根本，SparkCore,SparkSQL,Spark2.1hadoop2.6压缩包，尽快下载
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
spark安装和编程实践（Spark2.1.0）
最新发布
2301_81921110的博客
06-03 1847
spark安装和编程实践（Spark2.1.0）
window下安装Apache Spark
Forever
01-07 793
1、下载安装scala，安装成功后在命令行下输入scala -version验证： 2、下载安装sbt工具： http://www.scala-sbt.org/download.html 我直接下载的的是msi文件，安装后会默认把执行路径加入到环境变量里面，也可以下载zip文件，解压后手动设置环境变量。 3、下载Apache Spark，并解压，命令行切换到解压的目录，
【亲测】windows 10 下安装spark
热门推荐
沈万三爱搬砖的博客
03-01 1万+
一.【前言】最近想要学习spark，所以打算在windows 10笔记本上搭建单机版spark环境，练习spark的基本使用。在此过程中遇到了许多头疼的问题，经过多方查询资料，总算搭建好了，具体流程梳理如下，希望能给你一些启示或是帮助。二.【工具准备】具体如下： 1. java: JDK 8u121 with NetBeans 8.2，你也可以下载单独的JDK 8u121，不带有IDE NetBe
windows安装spark
agangz的专栏
06-19 601
spark windows安装
window10下spark2.1.0单节点环境及开发环境搭建及运行全流程走通
nju_mc的博客
02-09 5120
作为一名初入spark编程的初级工程师，在工作中总是会有一些程序需要先在自己的spark环境下试跑，所以需要自己在自己电脑中安装自己的spark运行环境以及开发，方便用于调试，还可以时不时的测试一下API，玩一玩自己随手编的小程序，以便学习，因为开源的东西变化太快，总是需要你不断学习...最近在工作中就有这样的一个需求，而网上也没有最新的资源，抱着和大家分享一起学习的心态，从头到尾咱们来一遍！
Spark单机版安装及配置（win10）
Trista的博客
10-21 2574
写在前面： 本篇博文记录在win10上安装spark单机版的过程，需要安装的软件有：Java JDK、Scala、Hadoop、Spark，本次安装的版本以及版本之间的对应要求如下： 在安装之前，新建一个spark文件夹，除了java之外其他软件都放在这个文件夹下，方便管理。 1 安装java 1.1 查看java是否安装及版本信息 如果已经安装了java,需要查看版本，Java版本最好是1.8或者11，查看方法，使用cmd打开命令行，输入java -version： 1.2 下载安装java 如果不
jackson2.4.4（spark2.1.1）
01-03
jackson2.4.4（spark2.1.1）spark开发遇到版本不对应问题，都是坑啊
spark2.1.1的源码包
06-17
spark的底层源码，版本2.1.1,可以解压后直接使用idea打开，特别注意：里面包含大量的maven依赖，初始加载时，时间较长。
spark-2.1.1.tgz
04-28
spark-2.1.1.tgz安装包spark-2.1.1.tgz安装包spark-2.1.1.tgz安装包
hadoop文件2.10.1
10-11
hadoop文件2.10.1安装文件。Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型跨计算机群集对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。库本身不是依靠硬件来提供高可用性，而是用于检测和处理应用程序层的故障，因此在计算机群集上提供高可用性服务，每个计算机群集都容易发生故障。
Windows下安装Spark（亲测成功安装）_windows spark，真香
2401_84166702的博客
04-13 836
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎 [2]。现在形成一个高速发展应用广泛的生态系统。
Spark环境搭建-Windows
qq_47844519的博客
07-06 2198
spark Windows搭建
Spark2.1.0分布式集群安装
an7800666的博客
03-27 162
一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文：http://www.cnblogs.com/liugh/p/6624872.html 1.3 Scala 参见博文：http://ww...
Spark2.1.0安装
weixin_30908707的博客
05-24 188
1.解压安装spark tar zxf spark-2.1.O-bin-2.6.0-CDH5.10.0.tgz 2.修改配置文件 vim /etc/profile export SPARK_HOME=/opt/spark/spark-2.1.O export PATH=$PATH:$SPARK_HOME/bin source /etc/profile 3.spark配...
spark-2.1.1-bin-hadoop2.4 下载
jonathan_joestar的博客
10-27 650
spark-2.1.1-bin-hadoop2.4 下载。
Windows10上安装Spark指南
“在Windows 10上安装Spark的指南” 在Windows 10上安装Apache Spark需要遵循一系列步骤，主要包括安装Scala、Java 8和Eclipse Mars。以下是详细的安装过程： 1. 安装Scala： - 首先，从官方网站下载Scala的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值