spark2学习(1) 之Spark Shell

最新推荐文章于 2024-06-19 14:17:35 发布
最新推荐文章于 2024-06-19 14:17:35 发布
阅读量1.3k 收藏
点赞数
分类专栏： spark spark2 文章标签： spark2从0开始学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/willwill101/article/details/81560747
版权
本文介绍了在Spark 2.0之后，RDD被数据集取代的情况，并通过Spark Shell进行交互式分析。启动Spark Shell，上传LICENSE文件并进行读取操作，包括计算行数、获取第一个值，以及展示map、reduce操作，进行简单的wordcount分析。重点在于数据集的使用和Spark Shell的便捷性。
摘要由CSDN通过智能技术生成

在Spark 2.0之前，Spark的主要编程接口是弹性分布式数据集（RDD）。在Spark 2.0之后，RDD被数据集取代，数据集类似于RDD一样强类型，但在底层有更丰富的优化。这里强调以下，我们使用的ambari去安装集群的，所以不描述安装的问题。

使用Spark Shell进行交互式分析

启动sparkshell   

/usr/hdp/current/spark2-client/bin/spark-shell --master yarn-client

这里我们直接启动了 yarn模式的客户端，然后提示了sc和spark已经在上下午中可以使用了，接下来就爽爽的学习代码吧。

上传一个LICENSE样例文件并读取操作

读取文件并使用count计算行数，然后使用first获取第一个值

最低0.47元/天 解锁文章
willwill1101
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Spark shell
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 7175
大数据实验教学系统使用Spark shellspark-shell命令及其常用的参数如下：   Spark的运行模式取决于传递给SparkContext的Master URL的值。 • 参数选项–master：这个参数表示当前的Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中，中括号内的星号表示需要使用几个CPU核心(core)，也就是启动几个线程模拟Spark集群。可选地，默认为local。 • 要查看完整的参数选项列表，可以执行“s
spark的Spark Shell练习
ddbbff2005的博客
04-01 562
定于：Spark Shell（是一个交互式的命令行，里面可以写spark程序，方便学习和测试，他也是一个客户端，用于提交spark应用程序） 启动（本地单机版-非集群）： ./bin/spark-shell 上面的方式没有指定master的地址，即用的是spark的local模式运行的（模拟的spark集群用心的过程） ./bin/spark-shell --master spark://hdp...
Spark2.x学习笔记：1、Spark2.2快速入门（本地模式）
与其临渊羡鱼 不如退而结网
07-16 663
1、Spark2.2快速入门（本地模式） 1.1 Spark本地模式 学习Spark，先易后难，先从最简单的本地模式学起。 本地模式（local），常用于本地开发测试，解压缩Spark软件包就可以用，也就是所谓的“开封即用” 1.2 安装JDK8 （1）下载 登录Oracle官网http://www.oracle.com/technetwork/java/javase/download...
Spark三种运行模式（SparkShell使用）
最新发布
m0_71010347的博客
06-19 1944
唯一不同的是，Spark Shell本身为集群的client提交方式运行，不支持cluster提交方式，即使用Spark Shell时，Driver运行于本地客户端，而不能运行于集群中。​ Driver为主控进程，负责执行应用程序的main()方法，创建SparkContext对象（负责与Spark集群进行交互），提交Spark作业，并将作业转化为Task（一个作业由多个Task任务组成），然后在各个Executor进程间对Task进行调度和监控。通常用SparkContext代表Driver。
Spark2.1.0之剖析spark-shell
beliefer的博客
04-20 4313
        通过在spark-shell中执行word count的过程，让读者了解到可以使用spark-shell提交Spark作业。现在读者应该很想知道spark-shell究竟做了什么呢？脚本分析        在Spark安装目录的bin文件夹下可以找到spark-shell，其中有代码清单1-1所示的一段脚本。代码清单1-1       spark-shell脚本function m...
spark-shell
zhixingheyi_tian的博客
12-23 387
spark-shell 就是一个脚本 里面调度了spark-submit function main() { if $cygwin; then # Workaround for issue involving JLine and Cygwin # (see http://sourceforge.net/p/jline/bugs/40/). # If you're usi...
spark学习5：spark-shell
hzp666的博客
05-19 7575
1.spark提供了交互式接口 spark-shell spark-shell 实现了用户可以逐行输入代码，进行操作的功能。 即可以不像Java一样，编写完所有代码，然后编译才能运行 spark-shell 支持 Scala交互环境 和 python交互环境 在学习测试中可以使用spark-shell 进行API学习 2.进入Scala交互环境 在spark安装目录的根目录下，有个bin目录中有个 spark_shell 2.1 在本机生成spark指挥所，创建sparkCo...
spark学习2
qq_38250124的博客
03-07 201
数据通过解析后被存放成case class类型，如果想要提取处理，就需要将数据转换成df toDF() 而一旦转换成DF 对应的表头字段和case class中的相对应，df的一些有趣操作， ratingsData.toDF().filter($"rating" > 4).select("product").rdd.map((_, 1)).reduceByKey(_ + _...
Spark机器学习案例实战.pdf
07-25
spark-shell对于快速测试和学习Spark应用非常有用。它将SparkSession作为默认上下文，用户不需要显式创建即可直接使用。 8. Spark Standalone模式 Spark Standalone模式是指Spark自己的集群管理器，它允许用户在...
spark-shell启动
04-28
本文档详细的介绍了spark的shell启动命令，具体细节等要求
Spark启动过程中遇到的错误 ./spark-shell –master spark://node001:7077
01-20
在尝试启动Spark Shell时，你遇到了一个特定的错误，该错误与Spark的内存配置有关。在你的描述中，错误信息明确指出系统内存259522560字节（约245MB）必须至少为471859200字节（约448MB），这意味着Spark在启动时...
Spark2.x 学习笔记(一) - Spark Core
今夕何年博客
12-10 1923
Spark 介绍 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是Scala编写，方便快速编程。 Spark与MapReduce的区别 1. Spark 基于内存迭代处理数据，MR基于磁盘迭代处理数据 2. Spark 粗粒度资源申请，MR是细粒度资源申请 3. MR中只有mapper,reducer,相当于spark中的map和reduceByKey两个算子...
Spark Shell入门教程
邵奈一的博客
07-07 1万+
教程目录0x00 教程内容0x011.0x021.2.0xFF 总结 0x00 教程内容 学习前提：有一定的Scala基础、基本的 Linux 基础，对Spark有一定的概念，并且安装好了Spark环境。 其他参考教程： 1、分布式集群环境之Scala的安装与配置（Centos7） 2、分布式集群环境之Spark的安装与配置（Centos7） 0x01 1. Spark-Shell是 Spark 自带的一个 Scala 交互 Shell ，可以以脚本方式进行交互式执行，类似直接用 Python 及其
Spark shell
Chunhong Song的专栏
02-06 891
1.spark-shell是Spark的命令行界面,使用Spark-shell进入scala命令行;spark的基础数据类型是RDD，即Resillient Distributed Dataset弹性分布式数据集，假设分布式系统下有很多的文件，这些文件有很多的行，RDD指的就是所有这些文件所有行的集合，而不是单独的某一行，所以我们对RDD进行的一系列操作都是对整个集合进行的操作，并且Spark是将...
[spark学习]之spark shell 入门
sunflower_cao的专栏
05-23 2万+
spark shell 是spark自带的一个快速原型开发的工具，在spark目录下面的bin目录下面，鸡
Spark-Shell 常用算子练习
小小良
08-27 461
// 在控制台执行：spark-shell // ------------------------------------------------------ // 一、元素型 RDD数据 val rdd = sc.parallelize(1 to 10, 3) => rdd: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) // transformation 转换，记录了RDD演变的过程，只有action才会触发transformatio.
Spark Shell 的使用
热门推荐
12-16 4万+
现在我们已经执行了行动操作，执行这些操作需要从磁盘读取数据，Spark在处理这些操作的时候，会把数据缓存起来，后续不管对该RDD执行转换操作还是行动操作，都将直接从内存读取，而不需要和磁盘进行交互。如果数据已经存在外部文件系统，例如本地文件系统，HDFS，HBase，Cassandra，S3 等，可以使用这种方式，即调用 SparkContext 的 textFile 方法，并把文件目录或者路径作为参数。操作，RDD并不会立即缓存，直到执行行动（Action）操作，数据才会真正缓存在内存中。
Spark入门：RDD详解与SparkShell使用
“Spark学习-day1，讲解Spark RDD和Spark Shell的使用，以及Spark与Hadoop的关系，探讨数据处理和内存管理。提供了Spark应用的基本架构和RDD的概念，还提及了在IDEA中配置Spark项目的步骤。” 在Spark的学习旅程中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值