在eclipse下开发spark程序环境配置

最新推荐文章于 2020-09-16 18:26:25 发布
最新推荐文章于 2020-09-16 18:26:25 发布
阅读量2.9k 收藏 2
点赞数 1
分类专栏： Spark 工程开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lihaitao000/article/details/51461277
版权
本文介绍了如何在Eclipse环境下配置Spark开发环境。包括下载spark-1.6.1-bin-hadoop2.6.tgz，设置winutils.exe，配置SPARK_HOME和HADOOP_HOME环境变量，以及在Eclipse中新建Java工程并将spark-assembly-1.5.0-hadoop2.4.0.jar加入buildpath。运行时需通过VM arguments设定-Dspark.master=local。
摘要由CSDN通过智能技术生成

1.      下载spark程序依赖包: spark-1.6.1-bin-hadoop2.6.tgz，可以下载需要的版本。

http://spark.apache.org/downloads.html


注意选择2的时候，要选基于hadoop的。

2.      下载winutils.exe文件，这个网上一搜就可以了，下载后在本地新建hadoop目录，在该目录下建bin目录，然后把winutils.exe文件放到这个目录下。


3.      配置环境变量，首先配置spark的环境变量，在系统变量中新建SPARK_HOME变量名，值为spark-1.6.1-bin-hadoop2.6.tgz解压后的目录，我的是：C:\spark-1.5.0-bin-hadoop2.4。然后在path系统变量中添加：

最低0.47元/天 解锁文章
海涛anywn
关注
专栏目录
Spark——实验三：搭建基于eclipse的Spark开发环境
maochaofei的博客
06-05 1478
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(14)完成eclipse的安装 1.1 下载Scala IDE for eclipse4.7.0 1.2 安装Scala IDE for eclipse4.7.0 1.3 配置eclipse环境变量 1.4 sbt eclipse插件全局安装 2. 基于ubuntukylin14.04(16)完成求top值，文件排序和二次排序等三个实例练习 2.1 创建eclipse应用程序 2.2 求top值实例练习
linux eclipse 配置c++开发环境,【搭建开发环境】Linux 中安装 Eclipse 进行 C/C++ 开发...
weixin_39616071的博客
05-04 566
引言Linux 中选用 C/C++ 的 IDE，推荐 Eclipse。涉及工具：JDK，Eclipse。欢迎来到 lovickie 的博客http://www.cnblogs.com/lovickie安装过程参考 http://www.cnblogs.com/lovickie/p/4364032.html下载 JDK 和 Eclipse C++，获取jdk-8u40-linux-i586.t...
eclipse搭建的Spark开发环境
10-08
Eclipse搭建的spark开发环境，微云可下！Eclipse搭建的spark开发环境，微云可下！
构建Spark的Eclipse开发环境
aohun0743的博客
07-29 679
前言 　　无论Windows 或Linux 操作系统，构建Spark 开发环境的思路一致，基于Eclipse 或Idea，通过Java、Scala 或Python 语言进行开发。安装之前需要提前准备好JDK、Scala 或Python 环境，然后在Eclipse 中下载安装Scala 或Python 插件(Spark支持Java、Python等语言)。基本步骤如下： 　　第一步：安装...
spark eclipse 环境配置
安静的码农
03-10 184
eclipse安装 版本本是eclipse oxygen 也可以直接用去下scala 的eclipse 版本 eclipse scala 插件安装 help->eclipse market 搜索 scala 找到scala ide 插件 安装 重启 hadoop util 安装 github地址 maven 包配置 参照列子 demo ##其他配置 Failed to locate...
在eclipse 运行 spark应用
李思苇
11-22 1473
在eclipse上运行Spark程序，提交到集群上以YARN-Client方式运行，或者以Standalone方式运行
Eclipse中写Spark代码
qq_34531825的博客
08-23 879
环境设置与运行（1）将Spark中的Jar包加到Eclipse 的Build Path中： 1.3版本如下图，只需要加载5个jar，2.0版本需要加载更多jar （2）编写代码，Export为jar包，注意要选择main函数： （3）使用spark-submit 命令运行： ./spark-submit /home/hadoop/spark/mycode/MydirstJob.ja
spark开发环境搭建(eclipse)
05-05
Spark 开发环境搭建是指在 Eclipse 集成开发环境中设置和配置 Spark 开发环境的过程。Spark 是一个基于 Hadoop 的大数据处理框架，它提供了高效的数据处理能力。为了在 Eclipse 中开发 Spark 应用程序，需要搭建...
Eclipse中搭建Spark开发环境步骤详解
"Eclipse开发Spark项目环境搭建文档" 在本文档中，黄sir详细介绍了如何在Eclipse中配置Spark开发环境，以便初学者和学生能够顺利进行Spark项目的开发。以下是该过程的详细步骤： 1. **软件工具准备**：首先，你...
win7下Eclipse开发Hadoop应用程序环境搭建
04-02
在Windows 7操作系统中，使用Eclipse开发Hadoop应用程序的过程涉及多个步骤，涵盖了从环境配置到实际编程的各个层面。以下是对这个主题的详细讲解： 首先，我们需要了解Hadoop和Eclipse的基础。Hadoop是一个开源的...
eclipse集成hadoop+spark+hive开发源码实例
05-02
windows系统下eclipse集成hadoop,spark,hive开发环境
scala 入门Eclipse环境搭建及第一个入门经典程序HelloWorld
热门推荐
06-24 6万+
scala 入门Eclipse环境搭建及第一个入门经典程序HelloWorld
1.如何配置Eclipse来使用Java编写Spark App
皮皮王的专栏
03-28 1066
1. 环境准备 Eclipse 请不要使用最新的 Neon(4.6) ，太多Bug了。 还是使用最新的 Mars(4.5) 系列吧 JDK 版本8.x （Linux推荐Oracle， 没有测试过OpenJDK）因为只是用Java，因此无需安装Scala及其相应的插件 2. 创建一个新的maven项目 3. pom.xml dependency> groupId>or
windows下eclipse中配置spark单机环境[spark+hadoop+maven+eclipse]
qq_30993409的博客
07-24 1621
第一步:(1)我的电脑是windows10，64位的环境，可以去eclipse官网下载自己电脑对应的eclipse版本。              (2)百度搜索eclispe，如图是我下载的eclipse版本，自动解压安装即可。 第二步:下载spark和hadoop相关文件            (1)下载和解压缩后的hadoop文件。            hadoop文件下载...
Eclipse搭建Scala+Spark开发环境
12-22 4088
搭建教程：http://www.linuxidc.com/Linux/2015-08/120946.htm eclipse中运行第一个scala编写的spark程序：http://blog.csdn.net/xummgg/article/details/50651867 eclipse中Scala IDE插件的下载地址：http://scala-ide.org/download/prev-sta
Eclipse开发Spark WordCount项目
梦里蓝天
09-16 654
前期的准备 Eclipse安装Scala IDE，为Spark开发测试准备 ，请先安装Scala IDE。 新建项目 转换为maven项目： 配置pom.xml <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <
基于eclipse的spark开发环境搭建
zll441488958的博客
12-26 1523
第一次写博客，若有什么不到之处，还请大家见谅
eclipse-spark开发环境
panguoyuan的专栏
06-24 2033
1、从spark 官网下载的都是使用Scala2.10编译的，别的版本很少编译过，用scala2.11.7报如下错误 Description Resource Path Location Type More than one scala library found in the build path (D:/scala-SDK-4.3.0-vfinal-2.11-win3
Eclipse上Spark开发环境搭建
hellohorizon的编程笔记
07-13 4085
1     安装插件     http://scala-ide.org/download/current.html 2     配置 2.1    配置Hadoop环境变量     HADOOP_HOME：%HADOOP_HOME%\bin中需包含winutils.exe文件。     Path：添加%HADOOP_HOME%\bin，注意分号。     winutils.exe下载地
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值