windows安装spark工具记录

最新推荐文章于 2024-08-22 14:04:08 发布
最新推荐文章于 2024-08-22 14:04:08 发布
阅读量135 收藏
点赞数
分类专栏： bigdata
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningyanggege/article/details/86528618
版权

首先安装java

 

然后安装scala

 

继续安装intelli idea与sbt

 

继续安装spark(直接是编译好的)，需要手动添加环境变量

 

继续安装hadoop（直接是编译好的），需要手动添加环境变量

最后，运行一个样例wordcount；

注意事项，需要手动添加库（jar文件)；

使用机器学习库需要导入breeze库

使用spark的很多库， 需要导入：

 

 

Takoony
关注
专栏目录
Spark各版本源代码及安装包下载方法
Fortuna_i的博客
09-29 7953
插句题外话：好久没上博客了，最近没搞项目，回学校写论文了，因为论文需要所以得下载spark2.1.0的源码，宿舍网是校外网，访问外网的时候容易死翘翘。于是乎，我就在百度上搜了一下，结果，哇！就这么点儿东西，有人要5C币，有人要10C币，还有更多的。人，有时候就会忽然中二症犯了，瞬间感觉义愤填膺，于是，就写了这篇博文，告诉大家如何免费下载各版本的Spark源码及安装包，顺便也奉告一下那...
Spark安装 （含JAVA, Hadoop安装）
bmwlwg的博客
01-28 1136
Part I. 安装软件 为了安装Spark，本次安装同时安装了JAVA1.8, Hadoop2.7.7和Spark-2.4.4, 具体如下： Part II. JAVA安装 Java 下载地址： https://www.oracle.com/technetwork/java/javase/downloads/index.html 2.1 JAVA安装 主要是JDK安装。 ...
spark踩坑记——windows环境下spark安装和运行
热门推荐
蚂蚁搬家
08-10 5万+
本文主要记录windows系统上安装spark，scala，和intelj IDEA，并实现本地spark运行。同时介绍了利用maven构建工具对spark工程构建的方法。本地运行需要本地安装scala，spark，hadoop。而如果利用maven构建工具则只需要再maven的pom.xml配置好需要的scala，spark，hadoop版本信息，构建时自动导入相应依赖，常用于企业级的项目开发中......
Windows单机安装配置mongodb+hadoop+spark+pyspark用于大数据分析
最新发布
dxwd的专栏
08-22 1117
解决方式二：直接更改hadoop对应etc\hadoop\hadoop-env.cmd 脚本中的 JAVA_HOME 为C:\Progra~1\Java\jdk-1.8。将上面下载的winutils中的hadoop-3.3.6/bin文件夹中的所有文件复制这里%HADOOP_HOME%\bin对应的文件夹中并替换原有文件。解决方式一：修改系统环境变量C:\Program Files\Java\jdk-1.8为：C:\Progra~1\Java\jdk-1.8。
spark 客户端工具_Bamboo Sparkapp下载
weixin_39839410的博客
01-30 691
Bamboo Spark是一款保护wacom的应用,这个应用是由Wacom专门为其智能保护壳推出的应用，这个保护壳提供了纸张，而在纸张上作画或者记录内容的话其中的笔画都会在平板上显现，是个挺有意思的小玩意，不过Bamboo Spark价格也比较贵。基本简介此应用程序需使用Bamboo Spark smart folio保护壳。使用此应用程序以便将您在Bamboo Spark记事本上所书写的东西直接...
07.spark安装教程
qq_34792920的博客
06-18 270
spark安装教程 第1章 Spark 概述 1.1 Spark 是什么 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 1.2 Spark and Hadoop 在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还 要学习新的计算框架 Spark 呢，这里就不得不提到 Spark 和 Hadoop 的关系。 首先从时间节点上来看: ➢ Hadoop • 2006 年 1 月，Doug Cutting 加入 Yahoo，领
spark运行在windows环境的idea遇到的问题记录
wangsg2014的专栏
01-26 1888
关于在windows环境开发spark时，遇到的一些环境问题，作一下记录 这次只了两点记录，如下： １、Couldn't find pwsh.exe or powershell.exe ２、Could not locate executable null\bin\winutils.exe in the Hadoop binaries 前提：由于机器使用已久，申请了一台新的笔记本 ，各种环境都需要重新安装，确实是头大啊，需要准备各种安装软件 一、问题1的解决方案 1、新本到手后，下载了新版
Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中【踩坑成功版】
小王博客基地
10-31 2398
近几年大数据是异常的火爆，今天小编以java开发的身份来会会大数据，提高一下自己的层面！HadoopSparkFlink小编也只知道这些了，由于Hadoop，存在一定的缺陷（循环迭代式数据流处理：多并行运行的数据可复用场景效率不行）。所以Spark出来了，一匹黑马，8个月的时间从加入Apache，直接成为顶级项目！！选择Spark的主要原因是：Spark和Hadoop的根本差异是多个作业之间的数据通信问题 : Spark多个作业之间数据通信是基于内存，而 Hadoop 是基于磁盘。
Spark 安装部署与快速上手
词不达yi、的技术博客
11-18 1065
核心概念 Spark 是 UC Berkeley AMP lab 开发的一个集群计算的框架，类似于 Hadoop，但有很多的区别。 最大的优化是让计算任务的中间结果可以存储在内存中，不需要每次都写入 HDFS，更适用于需要迭代的 MapReduce 算法场景中，可以获得更好的性能提升。 例如一次排序测试http://databricks.com/blog/2014/11/05/spark-officially-sets-a-new-record-in-large-scale-sorting.html中
大数据分析工具Spark安装教程及Python测试报告
最后，本教程还将包括一个报告部分，这份报告将记录安装过程中可能出现的问题以及解决方案，为学习者提供一个参考，确保他们能够在遇到问题时迅速定位和解决。 在这个过程中，初学者将学习到如何配置Spark环境，...
Hudi-0.9.0在win10的IDFEA中集中Spark3.0、Flink-1.12.x的基本使用记录
06-25
《Hudi-0.9.0在Windows上的IDFEA集成Spark3.0与Flink-1.12.x实战指南》 Hudi（Hadoop Upsert Delta Tables）是一款开源的、面向大数据处理的实时更新工具，它允许对HDFS上的数据进行插入、更新和删除操作，提供了一...
安卓开发即时通讯所需工具asmack、openfire、spark
07-27
Openfire是一款开源的XMPP服务器软件，它基于Java编写，可以运行在多种操作系统上，包括Windows、Linux和Mac OS。Openfire提供了强大的管理和安全特性，如用户管理、群组管理、聊天记录存储、TLS/SSL加密等。开发者...
安装Idea(集成scala)以及在windows上配置spark(hadoop依赖)本地开发环境
lucas8264的博客
01-05 2659
这两天花了点时间重装了win 10,必要的开发常用工具如IDE Idea以及运行spark等任务需要的hadoop本地依赖环境重新配起来，记录下简要步骤和几个小问题希望能给正在学习的小伙伴一点帮助。 解决idea环境中spark版本与scala版本不兼容问题。 idea及scala插件安装建议 01、idea选择版本 https://www.jetbrains.co
pd.read_csv指定数据类型是非常重要的
ningyanggege的博客
02-01 3万+
指定数据类型的情况下：     不指定数据类型的情况下：        内存爆满，出现异常   分析原因：     由于使用默认的参数设置，数据类型会选64位的，导致内存不够用； 数据虽然只有2G多。读取进内存后，数据类型选择不当，17个G都不够用； ...
查看hdfs目录的方法
ningyanggege的博客
01-24 1万+
如图所示:  
hdfs的默认路径
ningyanggege的博客
01-24 1万+
hdfs命令如下： 从上面的实验当中就可以发现hdfs的默认路径为/user/root  hdfs 命令已经取代hadoop；
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$
ningyanggege的博客
01-17 9172
使用intelli idea +scala+spark，运行程序代码如下： package cn.limbo.spark import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD /** * 使用Scala开发本地测试的Spark Word...
Shorten command line 解决方案
ningyanggege的博客
01-28 9011
  修改项目下 .idea\workspace.xml，找到标签 <component name="PropertiesComponent"> ， 在标签里加一行  <property name="dynamic.classpath" value="true" />
成功解决slave无datanode问题
ningyanggege的博客
01-25 6451
一、主机中的hadoop配置要与slave完全相同（主要原因） 二、删除了下面目录中的所有文件（不知道有没有影响） stop-all.sh  stop-spark-all.sh   hadoop namenode -format start-all.sh datanode就成功出现了 上传个文件试试，看看效果；圆满成功！      ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值