Spark交互式工具Spark Shell

最新推荐文章于 2022-07-06 16:35:54 发布
最新推荐文章于 2022-07-06 16:35:54 发布
阅读量208 收藏
点赞数
文章标签： 大数据 shell ui

 

 

 

 

 

　　不多说，直接上干货！

 

 

 

REPL

　　Read-Eval-Print-Loop，即交互式shell，以交互式方式来编程。

 　　那么，什么是REPL呢，如下就是

[spark@master ~]$ python
Python 2.6.6 (r266:84292, Nov 22 2013, 12:16:22) [GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> 1+2 3 >>> exit() [spark@master ~]$

 

 

 

 

 

 

Spark REPL

　　  (scala)

$SPARK_HOME/bin/spark-shell     

[spark@master ~]$ $SPARK_HOME/bin/spark-shell
17/04/09 16:09:29 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/04/09 16:09:31 INFO spark.SecurityManager: Changing view acls to: spark
17/04/09 16:09:31 INFO spark.SecurityManager: Changing modify acls to: spark
17/04/09 16:09:31 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark)
17/04/09 16:09:33 INFO spark.HttpServer: Starting HTTP Server
17/04/09 16:09:33 INFO server.Server: jetty-8.y.z-SNAPSHOT
17/04/09 16:09:33 INFO server.AbstractConnector: Started SocketConnector@0.0.0.0:44073
17/04/09 16:09:33 INFO util.Utils: Successfully started service 'HTTP class server' on port 44073.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.1
      /_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60)
Type in expressions to have them evaluated.
Type :help for more information.
17/04/09 16:09:51 INFO spark.SparkContext: Running Spark version 1.6.1
17/04/09 16:09:52 INFO spark.SecurityManager: Changing view acls to: spark
17/04/09 16:09:52 INFO spark.SecurityManager: Changing modify acls to: spark
17/04/09 16:09:52 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark)
17/04/09 16:09:54 INFO util.Utils: Successfully started service 'sparkDriver' on port 45062.
17/04/09 16:09:56 INFO slf4j.Slf4jLogger: Slf4jLogger started
17/04/09 16:09:56 INFO Remoting: Starting remoting
17/04/09 16:09:56 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriverActorSystem@192.168.80.10:59006]
17/04/09 16:09:56 INFO util.Utils: Successfully started service 'sparkDriverActorSystem' on port 59006.
17/04/09 16:09:57 INFO spark.SparkEnv: Registering MapOutputTracker
17/04/09 16:09:57 INFO spark.SparkEnv: Registering BlockManagerMaster
17/04/09 16:09:57 INFO storage.DiskBlockManager: Created local directory at /tmp/blockmgr-2039d1e2-879e-49cf-8025-51ab363d931c
17/04/09 16:09:57 INFO storage.MemoryStore: MemoryStore started with capacity 517.4 MB
17/04/09 16:09:59 INFO spark.SparkEnv: Registering OutputCommitCoordinator
17/04/09 16:10:02 INFO server.Server: jetty-8.y.z-SNAPSHOT
17/04/09 16:10:02 INFO server.AbstractConnector: Started SelectChannelConnector@0.0.0.0:4040
17/04/09 16:10:02 INFO util.Utils: Successfully started service 'SparkUI' on port 4040.
17/04/09 16:10:02 INFO ui.SparkUI: Started SparkUI at http://192.168.80.10:4040
17/04/09 16:10:04 INFO executor.Executor: Starting executor ID driver on host localhost
17/04/09 16:10:04 INFO executor.Executor: Using REPL class URI: http://192.168.80.10:44073
17/04/09 16:10:05 INFO util.Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 56077.
17/04/09 16:10:05 INFO netty.NettyBlockTransferService: Server created on 56077
17/04/09 16:10:05 INFO storage.BlockManagerMaster: Trying to register BlockManager
17/04/09 16:10:05 INFO storage.BlockManagerMasterEndpoint: Registering block manager localhost:56077 with 517.4 MB RAM, BlockManagerId(driver, localhost, 56077)
17/04/09 16:10:05 INFO storage.BlockManagerMaster: Registered BlockManager
17/04/09 16:10:08 INFO repl.SparkILoop: Created spark context..
Spark context available as sc.
17/04/09 16:10:15 INFO hive.HiveContext: Initializing execution hive, version 1.2.1
17/04/09 16:10:17 INFO client.ClientWrapper: Inspected Hadoop version: 2.6.0
17/04/09 16:10:17 INFO client.ClientWrapper: Loaded org.apache.hadoop.hive.shims.Hadoop23Shims for Hadoop version 2.6.0
17/04/09 16:10:23 INFO metastore.HiveMetaStore: 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore
17/04/09 16:10:23 INFO metastore.ObjectStore: ObjectStore, initialize called
17/04/09 16:10:25 INFO DataNucleus.Persistence: Property hive.metastore.integral.jdo.pushdown unknown - will be ignored
17/04/09 16:10:25 INFO DataNucleus.Persistence: Property datanucleus.cache.level2 unknown - will be ignored
17/04/09 16:10:25 WARN DataNucleus.Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies)
17/04/09 16:10:28 WARN DataNucleus.Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies)
17/04/09 16:10:32 INFO metastore.ObjectStore: Setting MetaStore object pin classes with hive.metastore.cache.pinobjtypes="Table,StorageDescriptor,SerDeInfo,Partition,Database,Type,FieldSchema,Order"
17/04/09 16:10:35 INFO DataNucleus.Datastore: The class "org.apache.hadoop.hive.metastore.model.MFieldSchema" is tagged as "embedded-only" so does not have its own datastore table.
17/04/09 16:10:35 INFO DataNucleus.Datastore: The class "org.apache.hadoop.hive.metastore.model.MOrder" is tagged as "embedded-only" so does not have its own datastore table.
scala>

 

 

 

　　　(python)

　$SPARK_HOME/bin/pyspark　　

[spark@master ~]$ $SPARK_HOME/bin/pyspark
Python 2.6.6 (r266:84292, Nov 22 2013, 12:16:22) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
17/04/09 16:12:43 INFO spark.SparkContext: Running Spark version 1.6.1
17/04/09 16:12:45 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/04/09 16:12:47 INFO spark.SecurityManager: Changing view acls to: spark
17/04/09 16:12:47 INFO spark.SecurityManager: Changing modify acls to: spark
17/04/09 16:12:47 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark)
17/04/09 16:12:50 INFO util.Utils: Successfully started service 'sparkDriver' on port 43980.
17/04/09 16:12:52 INFO slf4j.Slf4jLogger: Slf4jLogger started
17/04/09 16:12:52 INFO Remoting: Starting remoting
17/04/09 16:12:52 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriverActorSystem@192.168.80.10:43789]
17/04/09 16:12:52 INFO util.Utils: Successfully started service 'sparkDriverActorSystem' on port 43789.
17/04/09 16:12:52 INFO spark.SparkEnv: Registering MapOutputTracker
17/04/09 16:12:53 INFO spark.SparkEnv: Registering BlockManagerMaster
17/04/09 16:12:53 INFO storage.DiskBlockManager: Created local directory at /tmp/blockmgr-d4013f75-a504-433d-9775-fa821826c411
17/04/09 16:12:53 INFO storage.MemoryStore: MemoryStore started with capacity 517.4 MB
17/04/09 16:12:53 INFO spark.SparkEnv: Registering OutputCommitCoordinator
17/04/09 16:12:54 INFO server.Server: jetty-8.y.z-SNAPSHOT
17/04/09 16:12:54 INFO server.AbstractConnector: Started SelectChannelConnector@0.0.0.0:4040
17/04/09 16:12:54 INFO util.Utils: Successfully started service 'SparkUI' on port 4040.
17/04/09 16:12:54 INFO ui.SparkUI: Started SparkUI at http://192.168.80.10:4040
17/04/09 16:12:55 INFO executor.Executor: Starting executor ID driver on host localhost
17/04/09 16:12:55 INFO util.Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 59659.
17/04/09 16:12:55 INFO netty.NettyBlockTransferService: Server created on 59659
17/04/09 16:12:55 INFO storage.BlockManagerMaster: Trying to register BlockManager
17/04/09 16:12:55 INFO storage.BlockManagerMasterEndpoint: Registering block manager localhost:59659 with 517.4 MB RAM, BlockManagerId(driver, localhost, 59659)
17/04/09 16:12:55 INFO storage.BlockManagerMaster: Registered BlockManager
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 1.6.1
      /_/

Using Python version 2.6.6 (r266:84292, Nov 22 2013 12:16:22)
SparkContext available as sc, HiveContext available as sqlContext.

>>> exit()
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/metrics/json,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage/kill,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/api,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/static,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/threadDump/json,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/threadDump,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/json,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/environment/json,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/environment,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/rdd/json,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/rdd,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/json,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/pool/json,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/pool,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage/json,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/json,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/job/json,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/job,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/json,null}
17/04/09 16:13:53 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs,null}
17/04/09 16:13:53 INFO ui.SparkUI: Stopped Spark web UI at http://192.168.80.10:4040
17/04/09 16:13:53 INFO spark.MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
17/04/09 16:13:53 INFO storage.MemoryStore: MemoryStore cleared
17/04/09 16:13:53 INFO storage.BlockManager: BlockManager stopped
17/04/09 16:13:53 INFO storage.BlockManagerMaster: BlockManagerMaster stopped
17/04/09 16:13:53 INFO scheduler.OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
17/04/09 16:13:53 INFO spark.SparkContext: Successfully stopped SparkContext
17/04/09 16:13:53 INFO remote.RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon.
17/04/09 16:13:53 INFO remote.RemoteActorRefProvider$RemotingTerminator: Remote daemon shut down; proceeding with flushing remote transports.
17/04/09 16:13:53 INFO remote.RemoteActorRefProvider$RemotingTerminator: Remoting shut down.
[spark@master ~]$ 17/04/09 16:13:54 INFO util.ShutdownHookManager: Shutdown hook called
17/04/09 16:13:54 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-9658547e-ca95-4439-bcad-be792378f151
17/04/09 16:13:54 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-9658547e-ca95-4439-bcad-be792378f151/pyspark-21fbe135-979c-4219-b3ec-9c00a95f8957
^C
[spark@master ~]$

 

 

 

 

 

 

 

 

 

 

　　（其他）

 　　　　　　这里不多说

[spark@master bin]$ pwd
/usr/local/spark/spark-1.6.1-bin-hadoop2.6/bin
[spark@master bin]$ ll
total 92 -rwxr-xr-x. 1 spark spark 1099 Feb 27 2016 beeline -rw-r--r--. 1 spark spark 932 Feb 27 2016 beeline.cmd -rw-r--r--. 1 spark spark 1910 Feb 27 2016 load-spark-env.cmd -rw-r--r--. 1 spark spark 2143 Feb 27 2016 load-spark-env.sh -rwxr-xr-x. 1 spark spark 3459 Feb 27 2016 pyspark -rw-r--r--. 1 spark spark 1486 Feb 27 2016 pyspark2.cmd -rw-r--r--. 1 spark spark 1000 Feb 27 2016 pyspark.cmd -rwxr-xr-x. 1 spark spark 2384 Feb 27 2016 run-example -rw-r--r--. 1 spark spark 2682 Feb 27 2016 run-example2.cmd -rw-r--r--. 1 spark spark 1012 Feb 27 2016 run-example.cmd -rwxr-xr-x. 1 spark spark 2858 Feb 27 2016 spark-class -rw-r--r--. 1 spark spark 2365 Feb 27 2016 spark-class2.cmd -rw-r--r--. 1 spark spark 1010 Feb 27 2016 spark-class.cmd -rwxr-xr-x. 1 spark spark 1049 Feb 27 2016 sparkR -rw-r--r--. 1 spark spark 1010 Feb 27 2016 sparkR2.cmd -rw-r--r--. 1 spark spark 998 Feb 27 2016 sparkR.cmd -rwxr-xr-x. 1 spark spark 3026 Feb 27 2016 spark-shell -rw-r--r--. 1 spark spark 1528 Feb 27 2016 spark-shell2.cmd -rw-r--r--. 1 spark spark 1008 Feb 27 2016 spark-shell.cmd -rwxr-xr-x. 1 spark spark 1075 Feb 27 2016 spark-sql -rwxr-xr-x. 1 spark spark 1050 Feb 27 2016 spark-submit -rw-r--r--. 1 spark spark 1126 Feb 27 2016 spark-submit2.cmd -rw-r--r--. 1 spark spark 1010 Feb 27 2016 spark-submit.cmd [spark@master bin]$

 

 

 

 

 

 

 

Spark shell

　　Spark的scala REPL，支持使用scala语言来进行Spark的交互式编程。

　　支持Spark的local模式

spark@master ~]$ $SPARK_HOME/bin/spark-shell

 

 

 

 

　　支持yarn cluster模式

[spark@master ~]$ $SPARK_HOME/bin/spark-shell --master yarn-cluster

 

 

 

　　支持yarn client模式（注意这两种都是！）

[spark@master ~]$ $SPARK_HOME/bin/spark-shell --master yarn

或

[spark@master ~]$ $SPARK_HOME/bin/spark-shell --master yarn-client

 

　　内置实例化一个SparkContex对象，可以通过sc来调用

　　内置实例化一个SQLContext对象，可以使用sqlContext来调用

　　查看帮助sc.\t

 

weixin_34015566
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Zeppelin对Spark进行交互式数据查询和分析
阿里Darker
05-26 4776
Zeppelin是一个Web笔记形式的交互式数据查询分析工具，可以在线用scala和SQL对数据进行查询分析并生成报表。Zeppelin的后台数据引擎可以是Spark（目前只有Spark），开发者可以通过实现更多的解释器来为Zeppelin添加数据引擎。 Zeppelin的数据可视化能力很赞，下面是Zeppelin自带的Tutorial的显示效果： 安装使用 Zeppelin的安装方式是
1.spark Shell的使用
万磁王的博客
01-11 201
### 使用Spark Shell进行交互式分析 #### 基础 Spark的shell提供了一个学习API的简单方法，也是一个交互式分析数据的强大工具。它可以在Scala（在Java VM上运行，因此是使用现有Java库的好方法）或Python中提供。通过在Spark目录中运行以下代码来启动它： ``` D:\spark-1.6.2-bin-hadoop2.6\bin>s
Spark-shell交互式编程+HDFS操作，编写独立应用程序实现求二次排序问题
m0_51273386的博客
07-02 2138
Spark-shell交互式编程+HDFS操作，编写独立应用程序实现求二次排序问题
Linux上搭建Spark集群及spark shell交互式命令窗口
qq_45578476的博客
11-28 507
Spark集群搭建 基础知识： Spark是用于大规模数据处理的统一分析的计算引擎；是一个快速，通用，可扩展的大数据分析引擎；基于内存计算（速度快），基于mapreduce通常将数据中间存储在磁盘上。 HA机制：高可用机制，当主节点挂掉后启用备用主节点（前提是备用节点得打开及先处于待机状态） 集群搭建：因为Spark是依赖于Hadoop的，所以在下载安装包时需要找到自己Hadoop的版本对应的...
【Spark】SparkShell的运行
HR的博客
12-21 1383
SparkShellspark shell的流程具体操作读取HDFS上的文件访问的几种方式 简介：spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。 spark shell的流程 启动 Spark shell 进入Spark 安装目录后执行 spark-shell --master master 就可以提交Spark 任务 Spark shell 的原理是把每一行 Scala 代码编译成类, 最终交由 Spa
使用 Spark Shell 进行交互式分析
Singularinty的博客
06-20 1061
基础 提供了一种来学习该 比较简单的方式，以及一个来分析数据交互的强大的工具。在 （运行于 虚拟机之上，并能很SparkshellAPIScalaJava好的调用已存在的 类库）或者 中它是可用的。通过在 目录中运行以下的命令来启动它 : JavaPythonSparkScala./bin/spark-shellSpark 的主要抽象是一个称为弹性分布式数据集（）的分布式的 集合。 可...
Spark交互式分析平台ApacheZeppelin的安装
02-24
Zeppelin可实现你所需要的：-数据采集-数据发现-数据分析-数据可视化和协作支持多种语言，默认是scala(背后是sparkshell)，SparkSQL,Markdown和Shell。甚至可以添加自己的语言支持。如何写一个zeppelin解释器...
实验七：Spark初级编程实践
07-15
实验中使用的是命令 `./bin/spark-shell` 来启动 Spark 的交互式 Shell，方便进行测试和调试。 2. **Spark 读取文件系统数据** Spark 可以读取多种数据源，包括本地文件系统和 HDFS（Hadoop 分布式文件系统）。在 ...
spark toolsssss
10-07
标题"spark toolsssss"可能指的是Spark相关的工具或工件，可能包括Spark Shell（交互式命令行环境）、Spark Submit（提交应用程序的工具）、Spark History Server（用于查看已完成作业的历史记录）以及各种开发工具...
spark-3.2.1 安装包 集成 hadoop2.7
04-03
5. 使用`spark-submit`脚本提交Spark作业到YARN上运行，或者在本地模式或standalone模式下启动Spark Shell进行交互式测试。 Spark的使用场景广泛，涵盖了数据批处理、实时流处理、机器学习和图计算等。在大数据领域...
使用Python开发spark
qq_47844519的博客
07-06 5308
spark
4.在spark-shell中运行代码（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
06-10 2092
在spark-shell中运行代码 ① 能够使用正确的方式启动spark-shell； ② 能够在spark-shell中进行交互式编程。 实验原理 -> spark-shell spark-shell提供了简单的方式来学习 API，并且提供了交互的方式来分析数据。你可以输入一条语句，spark-shell会立即执行语句并返回结果，这就是我们所说的REPL（Read-Eval-Print Loop，交互式解释器），它为我们提供了交互式执行环境，表达式计算完成以后就会立即输出结果，而不必等到整个程序运行完毕，
Spark交互式工具spark-shell
weixin_34128501的博客
03-29 362
      REPL Read-Eval-Print-Loop，即交互式shell，以交互式方式来编程         Spark REPL $SPARK_HOME/bin/spark-shell(scala) $SPARK_HOME/bin/pyspark(python) 其他       Spark shell Spark的scala REPL，支持使用sca...
Spark入门1-使用Spark-shell交互分析
朱金华的专栏
12-04 5149
Spark入门1-使用Spark-shell交互分析朱金华 njzhujinhua 2017/12/03Spark入门1-使用Spark-shell交互分析 文件读取 1 读取RDD方式 2 读取Dataset方式 查看文件 1 查看内容 2 WordCount 本系列以Spark2.2.0版本为依据整理。第一节通过Spark交互式shell熟悉其计算过程。在2.0版本之前，Spark的主要编程接口
Spark shell交互
一只老风铃
03-24 560
Spark带有交互式的Shell 可以作为即时数据分析接口，相对于Python Bash Windows Shell等，Spark Shell最大的特点是可以用来与分布式存储在许多机器的内存或磁盘上数据进行交互，并且处理过程的分发由Spark自动完成 Spark能够在工作节点上把数据读取到内存，所以分布式计算都可以在几秒内完成，即使探索性分析变得很适合Spark，Spark提供Python以及S...
Spark spark-shell操作
hongxiao2016的博客
05-25 2544
RDD(Resilient Distributed Datasets),弹性分布式数据集,是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低. 创建RDD的两种方法: 1.并行化集合 val data= sc.parall...
Spark Shell编写第一个代码
bujiangdaoli的博客
12-05 1985
Spark Shell编写第一个代码 学习Spark程序开发，首先通过spark-shell交互式学习，加深Spark程序开发的理解。 尝试Spark Shell 的基本使用。Spark shell 提供了简单的方式来学习API，也提供了交互的方式来分析数据。 Spark Shell 支持 Scala 和 Python，选择使用 Scala结合对文件的简单操作来进行介绍。 （1）启动Had
Spark-shell和Spark-submit
feizuiku0116的博客
02-07 334
Spark支持多种集群管理器（Cluster Manager）,取决于传递给SparkContext的MASTER环境变量的值：local、spark、yarn，区别如下： 一、Spark-shell 引入：之前我们使用提交任务都是使用spark-shell提交，spark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下可以用scala编写spark程序，适合学习测试时使用！ 实例：spark-shell可以携带参数 spark-shell --mast
spark交互式开发
最新发布
06-06
Spark交互式开发是指使用Spark的交互式Shell进行开发的过程。Spark提供了两种交互式Shell：Scala shell和Python shell。这两个Shell都提供了一个REPL环境（Read-Eval-Print Loop），可以方便地测试和调试代码，同时...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值