1、运行spark示例工程前期准备SparkExampleWorkSpace(1)

最新推荐文章于 2022-08-10 09:05:57 发布
最新推荐文章于 2022-08-10 09:05:57 发布
阅读量383 收藏
点赞数
分类专栏： 云计算 文章标签： 运行spark示例工程前期准备 idea运行spark示例 idea配置spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tian_li/article/details/49556159
版权


1  打开idea

2  创建新的工程

3  建立scala工程（这里不选择sbt的原因，sbt需要连接网络）

 

输入工程名：

注意这里scala的版本，spark对scala的版本有要求

点击finish



修改项目的属性



在src下建立目录org/apache/spark/examples

 

 

4  导入Spark开发需要的jar

导入spark-assembly-1.5.1-hadoop2.6.0.jar

 



探索者tl
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark运行自带例子_Scala编写spark程序，简单示例及运行
weixin_35757191的博客
12-29 1095
Scala编写spark程序，简单示例及运行2015-06-12 14:54:56作者：MangoCool来源：MangoCool折腾了一周的Spark，总算是有一点了解了。本文章所讲述的是从官网copy了一个Scala的例子，在本地打包之后，上传到集群中，用spark-submit提交任务。新建一个Sacal工程，暂时先选择。点击Finish，新建一个Scala文件，将官网例子代码贴...
Spark的安装和配置
热门推荐
10-22 1万+
1  本文是在hadoop正确安装的前提的条件上进行的  Hadoop安装请参考：hadoop的安装和配置.docx 2  下载程序包 http://spark.apache.org/downloads.html 我们使用的是：spark-1.5.1-bin-hadoop2.6.tgz 3  安装spark (1) 将spark-1.5.1-bin-hadoop2.6.tgzpagz拖
搭建Spark前要做的配置
xiangkuifu的博客
06-08 163
安装Spark 1.下载VM http://sw.bos.baidu.com/sw-search-sp/software/a08321b624453/VMware_workstation_full_12.5.2.exe 2.安装vm，使用ctrl+alt切换内外鼠标 3.下载ubuntu http://old-releases.ubuntu.com/releases/14...
java本地运行spark代码示例
shy_snow的专栏
08-10 1044
spark本地运行代码示例
spark运行自带例子_运行Spark例子程序
weixin_30569923的博客
01-12 1512
一、安装和配置下载并解压Spark到指定目录，如果没有安装JDK、Scala，需要先下载JDK、Scala到指定目录，并设置SPKARK_HOME(JAVA_HOME、SCALA_HOME).二、启动Spark或Spark集群如果只是在单节点上运行Spark，无需启动Spark，直接按『三、运行例子程序』运行即可。如若需要在集群上运行Spark例子程序，需要先启动Spark集群。将已经可以互相无密...
Spark介绍(1)共29页.pdf.zip
11-20
这个"Spark介绍(1)共29页.pdf.zip"文件很可能是对Spark的基本概念、核心功能和使用场景的一个详细讲解，涵盖了29页的内容。尽管无法直接查看压缩包中的具体内容，但我们可以根据Spark的一般知识来展开讨论。 1. **...
【Spark内核篇02】Spark模式运行机制1
08-04
在Spark内核篇02中，我们主要讨论了Spark在三种不同模式下的运行机制：Yarn模式、Yarn-Client模式和Standalone模式，包括这两种运行模式下的Cluster和Client模式。 首先，我们来看Yarn模式的运行流程： 1. 用户通过...
基于Java的Spark数据处理示例设计源码
04-18
本项目是基于Java的Spark数据处理示例设计源码，共包含157个文件，其中主要包含136个Java源代码文件，3个gitignore文件，3个xml配置文件，3个parquet数据文件，3个json数据文件，2个avsc文件，2个txt文本文件，1个...
运行Spark程序的方法
01-07
在启动时便会自动生成一个驱动器程序，所以只需要在Spark shell中输入项运行的操作就可以了 pyspark –master MasterURL –name NAME 在Spark shell中运行语句sc可直接得到驱动器程序的相关信息 jupyter Notebook 是...
线性回归Spark 示例
03-19
线性回归Spark 示例
安装HBase（使用hbase自带zookpeer）
01-28 6621
1       前提条件 Java1.7 2       下载HBase l  官网地址：http://hbase.apache.org/ l  下载地址：http://mirrors.hust.edu.cn/apache/hbase/ l  下载版本：hbase-1.1.2-bin.tar.gz 3       安装HBase (一)           将
运行示例sparkPi计算圆周率（1.1）
11-01 3420
1  启动spark (1) 启动hadoop 启动成功master节点进程： Slave节点进程： (2) 启动spark（注意路径） 启动成功：   Slave1和slave2的进程如下：   2  将sparkPi.scala添加进工程 3  Idea会自动读取src/org/apache/spark/examples下的scala文件
Hadoop的安装和配置
10-13 3073
1  下载程序包：  http://hadoop.apache.org/releases.html 我们使用的是hadoop-2.7.1.tar.gz 2  安装hadoop (1) 将hadoop-2.7.1.tar.gz拖拽到ubuntu桌面 (2) mkdir /usr/local/hadoop #在/usr/local/中创建hadoop目录用来存放程序文件 (
云时代新秀docker和现有技术的对照（笔记）
11-13 550
1      云计算平台的三层服务 1.1  Iaas（Infrastructure as a service,基础设施即服务） Iaas层为基础设施运维人员服务，提供计算、存储、网络及其他基础资源，云平台使用者可以在上面部署和运行包括操作系统和应用程序在内的任意软件，无需再为基础设施的管理而分心。 应用场景：虚拟机、存储、负载均衡、网络….. 缺点：只要以
Zookeeper的安装
02-09 540
Zookeeper的安装 1       前提条件 系统安装了Java6 2       Zookeeper的下载 官网地址：http://zookeeper.apache.org/releases.html 下载地址：http://apachemirror.ovidiudan.com/zookeeper/ 下载版本：zookeeper-3.4.6.tar.gz 3
Scala的安装
10-14 378
1  Scala的下载 http://www.scala-lang.org/ 我们使用的是scala-2.11.7.tgz 2  具体安装过程 (1) 将桌面的安装文件拖拽到Ubuntu桌面 (2) 在Ubuntu下/usr/local/下建立scala目录 (3) 将scala的安装文件拷贝到新建立的目录下 (4) 解压scala安装目录 (5)
java毕设&课设-ASP校友录设计(源代码+论文).zip
最新发布
07-21
计算机毕业设计资源包含（项目部署视频+源码+LW+开题报告等等），所有项目经过助教老师跑通，有问题可以私信博主解决，可以免费帮部署。
运行spark官方示例sparkpi
03-29
作为AI语言模型，我无法运行代码，但是我可以提供给您运行Spark官方示例sparkpi的步骤： 1. 安装Spark 2. 打开终端，进入Spark安装目录 3. 输入以下命令： ``` ./bin/run-example SparkPi 10 ``` 其中“10”...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值