关于Spark hello world环境搭建

最新推荐文章于 2020-12-01 23:31:52 发布
最新推荐文章于 2020-12-01 23:31:52 发布
阅读量341 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blue3xp/article/details/47079931
版权

学习了DT大数据梦工厂微信公众账号：DT_Spark的第一节视频 ，学会了如何搭建环境及编写简单的hello world  

有兴趣的同学可以关注微信账号 

搭建步骤如下：

1、下载spark安装包，由于spark是基于jvm运行，所以要提前保证机器有jvm的环境，安装包地址是http://www.scala-lang.org，版本号是2.10.4

2、下载开发环境，对于初学者来说基于eclipse的开发环境是比较熟悉的，下载地址是http://www.scala-ide.org

3、配置scala环境变量，与java环境变量配置类似，配置scala home  并在path目录下加入scala home/bin 目录

4、在控制台输入scala 可以看见版本号 调用成功

blue3xp
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark集群上运行helloworld程序--WordCount
vinsuan93的专栏
08-27 4080
环境 centOS6.5 spark1.6 利用idea编写WC程序 创建maven项目 File --> close Project -->Create New Project 选择Maven Next，来到Maven项目最重要三个参数的设置页面，这三个参数分别为：GroupId, ArtifactId和Version 为了更好的解释这三个字段，用Spark 1.
Hello Spark! | Spark，从入门到精通
weixin_34015860的博客
09-11 328
欢迎阅读美图数据技术团队的「Spark，从入门到精通」系列文章，本系列文章将由浅入深为大家介绍 Spark，从框架入门到底层架构的实现，相信总有一种姿势适合你，欢迎大家持续关注：） 什么是 Spark？ Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架，是专为大规模数据处...
spark hello world
andrew_asa的专栏
08-02 202
idea 中建立maven工程依赖如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSch
Spark,Hello World
Lucy_Leezhi
06-27 456
首先下载Spark并解压缩到/apphome目录，/apphome/spark-1.6.1-bin-hadoop2.6 进入到这个目录后执行如下命令：bin/spark-shell Spark 启动成功。来实现第一个例子：在spark shell 中依次输入如下命令：val lines = sc.textFile("README.md") lines.count() lines.first()
spark筑基篇-01-Eclipse开发Spark HelloWorld
hylexus的博客
09-21 5848
Spark这么火，越来越多的小伙伴开始搞大数据。 通过多方查阅资料，这个单机版的Spark的HelloWorld终于跑出来了。 此HelloWorld非彼HelloWorld，并不是打印出HelloWorld那么简单，而是一个单词统计程序
Spark开发环境搭建
06-15
Spark开发环境搭建 Spark 是一个基于内存的分布式计算框架，由 Apache 开发，是一个开源的数据处理引擎。为了使用 Spark，需要搭建 Spark 开发环境，这篇文章将指导您如何安装 Spark、配置环境变量、使用 Local ...
Spark环境搭建和使用方法
最新发布
07-11
val words = sc.parallelize(Seq("hello", "world", "hello", "spark")) val counts = words.countByValue() println(counts) ``` ##### 3.2 编写Spark独立应用程序 1. **创建项目**：使用IDEA等工具创建Scala...
Apache Spark开发环境搭建
11-22
### Apache Spark 开发环境搭建详解 #### 一、准备工作 在搭建Apache Spark开发环境之前，我们需要准备以下几个组件： 1. **下载JDK7或JDK8**：Spark支持多个版本的JDK，但通常建议使用JDK7或JDK8以获得更好的...
kafka环境搭建
06-30
- 安装完成后，你可以在 Eclipse 中创建 Scala 项目，并尝试编写 "Hello World" 程序。如果在新建 Scala 类时遇到问题，可能是因为透视图（perspective）设置不正确，需要切换到 Scala 透视图。 3. **获取项目所需...
Java操作Spark入门程序
10-15
总结，Java操作Spark入门涉及Java环境的搭建、Spark依赖的引入、SparkSession的创建、集群的连接以及数据的读取、处理和分析。随着对Spark API的深入了解，你将能够构建复杂的数据处理流程，实现高效的大数据解决...
spark-windows helloword入门例子
03-08
spark-windows helloword入门例子 spark-windows helloword入门例子
spark入门_Hello Spark! | Spark，从入门到精通
weixin_39984442的博客
12-01 174
欢迎阅读美图数据技术团队的「Spark，从入门到精通」系列文章，本系列文章将由浅入深为大家介绍 Spark，从框架入门到底层架构的实现，相信总有一种姿势适合你，欢迎大家持续关注：) / 什么是 Spark？ / Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架，是专为大规模数据处理而设计的快速通用的大数据处理引擎及轻量级的大数据处...
Spark 安装 及 HelloWorld
Daniel is coding
03-25 2436
说明本篇主要介绍 Spark 的安装 及 HelloWorld程序（其实是计算一个文件的行数）。 环境： spark-2.1.0-bin-hadoop2.6.tgz安装Spark 其实属于免安装，所有的安装过程只不过是解压：tar -zxvf spark-2.1.0-bin-hadoop2.6.tgzHello WorldSpark可以进入到shell环境中进行操作，提供有 pySpark 和 s
SparkStreaming之Helloworld
万磁王的博客
01-12 759
首先，我们将Spark Streaming类的名称和StreamingContext的一些隐式转换导入到我们的环境中，以便将有用的方法添加到我们需要的其他类（如DStream）中。StreamingContext是所有流媒体功能的主要入口点。我们创建一个具有两个执行线程的本地StreamingContext，批处理间隔为10秒。 val sparkConf = new SparkConf()
Windows下的第一个Spark程序 HelloWorld
tester201120112011的专栏
01-23 614
Windows下的第一个Spark程序
Spark程序 "Hello World！"实例
Java精选
04-18 4175
简单介绍第一个程序"Hello World！"，就是存储于HDFS的Log文件中计算出"Hello World!"的行数，存储路径为hdfs://root/Log，计算代码如下： 1 2 3 4 5 var sc=new SparkContext("spark://localhost:6030","Hello world！","YOU
Spark入门helloword
chy2z的专栏
05-28 854
hadoop和spark环境搭建好后，怎么入门？从最简单的helloword说起吧。告诉大家怎么执行scala和python代码。1 scala版本在cmd中输入 spark-shell ，启动成功后，然后输入 println("helloword")2 python版本在cmd中输入 pyspark，启动成功后，然后输入 print("helloword")  还有不明白参见Spark-quic...
Spark Hello World以及RDD简述
weixin_43854618的博客
04-08 329
RDD是什么 RDD英文单词全称为Resilient Distributed Datase，叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。不可变、可分区和可并行计算下面再详细叙述。 RDD特点 (1)分区 spark可以把读进来的数据装进RDD里面，因为spark支持集群方式部署的，spark的Driver会把RD...
Spark认识&环境搭建&运行第一个Spark程序
weixin_33827731的博客
03-15 757
摘要：Spark作为新一代大数据计算引擎，因为内存计算的特性，具有比hadoop更快的计算速度。这里总结下对Spark的认识、虚拟机Spark安装、Spark开发环境搭建及编写第一个scala程序、运行第一个Spark程序。 1.Spark是什么 Spark是一个快速且通用的集群计算平台 2.Spark的特点 1）Spark是快速的    Spark扩充了流行的Mapreduce计算模型...
Hadoop2.7.4 & Spark2.2.1 集群环境搭建指南
该资源提供了一种在三台服务器上构建Hadoop 2.7.4和Spark 2.2.1集群环境的方法，适用于学习环境搭建。在Linux系统中，使用JDK 1.8作为运行环境。文档涵盖了用户添加、文件权限设置以及Hadoop和Scala的安装步骤。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值