Spark入门指南 - 1.3 spark shell介绍

最新推荐文章于 2024-11-16 19:15:18 发布

chihuangxian4430

最新推荐文章于 2024-11-16 19:15:18 发布

阅读量151

点赞数

文章标签： shell 大数据 scala

原文链接：https://my.oschina.net/jlcao/blog/3013415

版权

Spark shell提供了一种学习API的简单方法，以及一种以交互方式分析数据的强大工具。它可以在Scala（在Java VM上运行，因此是使用现有Java库的好方法）或Python中使用。

scala 命令行启动方式 ./bin/spark-shell

python 命令行启动方式 ./bin/pyspark

下面我们用scala的方式启动

读取本地文件README.md,并统计

命令交互窗也支持Linux 传统的 tab补全还是比较好用

下面再来一个入门的统计

统计spark出现的次数。

shell只是提供给我们一个更便捷的学习方式，具体的任务还需要编写代码提交运行。

转载于:https://my.oschina.net/jlcao/blog/3013415

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

chihuangxian4430

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Spark 2.0.2 Spark 2.2 中文文档本资源为网页，不是PDF

12-07

Spark SQL 入门指南起始点 : SparkSession 创建 DataFrame 无类型 Dataset 操作（aka DataFrame 操作）以编程的方式运行 SQL 查询创建 Dataset RDD 的互操作性数据源通用的 Load/Save 函数 Parquet...

Spark shell

Chunhong Song的专栏

02-06

913

1.spark-shell是Spark的命令行界面,使用Spark-shell进入scala命令行;spark的基础数据类型是RDD，即Resillient Distributed Dataset弹性分布式数据集，假设分布式系统下有很多的文件，这些文件有很多的行，RDD指的就是所有这些文件所有行的集合，而不是单独的某一行，所以我们对RDD进行的一系列操作都是对整个集合进行的操作，并且Spark是将...

参与评论您还未登录，请先登录后发表或查看评论

Spark Shell简单介绍

Yage的博客

05-17

4760

初始化Spark 编写一个Spark程序第一步要做的事情就是创建一个SparkContext对象，SparkContext对象告诉Spark如何连接到集群。在创建一个SparkContext对象之前，必须先创建一个SparkConf对象，SparkConf对象包含了Spark应用程序的相关信息。每个JVM只能运行一个SparkContext，在创建另一个新的SparkContext对象前，必须将...

spark系列之spark-shell详解

liu_xue_xue的专栏

08-02

3750

Spark Shell是一个交互式的命令行，提供了一种学习API的简单方式，以及一个能够进行交互式分析数据的强大工具，他也是一个客户端，可以使用scala编写（scala运行与Java虚拟机可以使用现有的Java库）或使用Python编写。方便学习和测试，用于提交spark应用程序。 spark-shell的本质是在后台调用了spark-submit脚本来启动应用程序的。启动spark-shell，命令如下： /spark-2.2.0-bin-hadoop2.7/bin/spark-shell .

Spark Shell简单使用

热门推荐

universe_ant的博客

07-24

1万+

基础 Spark的shell作为一个强大的交互式数据分析工具，提供了一个简单的方式学习API。它可以使用Scala(在Java虚拟机上运行现有的Java库的一个很好方式)或Python。在Spark目录里使用下面的方式开始运行： ./bin/spark-shellSpark最主要的抽象是叫Resilient Distributed Dataset(RDD)的弹性分布式集合。RDDs可以使用Ha

spark-shell启动命令详细解析1

u013771019的专栏

06-17

6517

环境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141 执行spark-shell命令后，会启动spark-shell交互命令行窗口：那么spark-shell命令的启动流程是怎样的呢？下面让我们来一步一步分析首先，查看${SPARK_HOME}/bin/spark-shell启动脚本可以看到，spark-shell脚本使用启动参数调用main方法 spark-shell脚本中的main方法最终会调用命令： "${SPAR..

Spark官方文档整理：spark-core

weixin_38602383的博客

12-05

3308

Spark 官方文档 1,spark 概述 Apache Spark 是一个快速通用的集群计算系统，它提供了提供了java,scala,python和R的高级API，以及一个支持一般图计算的优化引擎。它同样也一系列丰富的高级工具包括：Spark sql 用于sql和结构化数据处理，MLlib用于机器学习，Graphx用于图数据处理，以及Spark Streaming用于流数据处理。 2，快速入门本教程对使用spark进行简单介绍。首先我们会通过spark的交互式 shell工具介绍Python和scala

Spark快速入门

Prince_96的博客

11-29

3638

文章目录1、Spark概述1.1、什么是Spark？1.2、为什么要学Spark？1.3、Spark的特点1.3.1、运行速度快1.3.2、易用性好1.3.3、通用性强1.3.4、兼容性强1.4、Spark运行模式2、搭建Spark集群2.1、下载2.2、环境准备2.3、配置免密登录2.4、开始安装2.5、Spark HA 高可用部署2.5.1、高可用部署说明2.5.2、基于zookeeper 的Spark HA 高可用集群部署3、Spark 角色介绍3.1、Spark架构3.2、架构说明4、体验 Spar

Spark快速入门系列（一）了解Spark 与Spark的简单使用

weixin_45417821的博客

08-23

4999

文章目录1.Spark概述1.1. Spark是什么1.2. Spark的特点(优点)1.3. Spark组件1.4. Spark和Hadoop的异同2.Spark集群的搭建2.1. Spark 集群结构2.2. Spark 集群搭建2.3. Spark 集群高可用搭建2.4. 第一个应用的运行3.Spark入门3.1. Spark shell 的方式编写 WordCount3.2. 读取 HDFS 上的文件3.3. 编写独立应用提交 Spark 任务 1.Spark概述目标 Spark 是什么 ? Sp

大数据处理框架Hadoop与Spark入门指南

# 1. 大数据处理框架概述 ## 1.1 什么是大数据处理框架 大数据处理框架指的是用于存储、管理和...## 1.3 Hadoop与Spark在大数据处理领域的地位和作用 Hadoop和Spark是当前大数据处理领域最为流行和重要的两大框架。

大数据基础：Hadoop与Spark入门指南

# 章节一：大数据概述 ## 1.1 什么是大数据 大数据是指由传统数据处理工具难以捕捉、管理和处理的海量、高增长率以及多样化的信息资产，这些数据对于企业而言具有重要的商业价值。大数据通常具有以下特点：数据量...

在本地环境搭建Spark：入门指南

什么是Spark Spark是一种快速、通用的集群计算系统，用于大规模数据处理。它提供了高级API（如Java、Scala、Python和R）来支持分布式数据集和流数据处理。Spark最初由加州大学伯克利分校的AMPLab开发，后来捐赠给...

Spark基础入门指南：从安装到第一个应用程序

### 1.1 什么是Spark Spark是一个快速且通用的集群计算系统，它提供了一种高级别的API来编写分布式计算应用程序。Spark具有先进的内存计算能力，能够处理大规模数据集，同时还提供了丰富的工具和库，用于各种数据...

IC脚本之shell

xusong666的博客

11-13

168

3. test表达式。

Shell 变量

m0_56065966的博客

11-13

651

轻松学习Shell 变量

超好用shell脚本NuShell mac安装

༺墨༒眉༻

11-11

596

Nu 管道使用结构化数据，你可以用同样的方式安全地选择，过滤和排序。一次学习，处处可用。网上说brew可能需要更新来解决错误，于是我使用brew update。大佬回复他们控制不了brew,并且我安装的是0.84版本是比较老的了。到这里nushell安装就完成了，强大之处慢慢挖掘吧。然后我猜可能是我的brew太久没更新了，然后谢过大佬。看看文档，可以brew安装，巧了咱也有brew。安装完成，使用nu启动，看一下效果，不错吧。具备强大的插件系统，Nu 可以轻松扩展。社区里问了下大佬，大概的意思就是。

expect 脚本中无法将数字字符串转为数字

weixin_43360707的博客

11-14

132

【代码】Linux 中Set enable-bracketed-paste off。

2024 同一个网段，反弹shell四种方法【linux版本】bash、python、nc、villian反弹shell图解步骤

m0_47484034的博客

11-12

530

2024 同一个网段，反弹shell四种方法【linux版本】bash、python、nc、villian反弹shell图解步骤

ubuntu命令行装anaconda