Spark入门：在Intellij IDEA上单机运行Spark的RRD的map和filter

最新推荐文章于 2023-06-06 08:41:58 发布
最新推荐文章于 2023-06-06 08:41:58 发布
阅读量2.5k 收藏
点赞数
分类专栏： 大数据 文章标签： spark map filter RDD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuyaoqiaoyaoge/article/details/46883455
版权

map是对RDD数据集里面每个数据都进行括号里面的操作。
filter是对RDD数据集进行过滤，符合括号里面的操作的，留下来

import org.apache.spark.{SparkConf, SparkContext}

object testone {

  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("test one")
    val sc=new SparkContext(conf)
    //并行集合是通过调用SparkContext的parallelize方法，在一个已经存在的Scala集合上创建的（一个Seq对象）。
    //集合的对象将会被拷贝，创建出一个可以被并行操作的分布式数据集。
    //下面是如何从一个Scala集合创建一个并行集合
    val rdd =sc.parallelize(List(1,2,3,4,5,6,7,8,9))
    val mappedRDD=rdd.map(x=>x*3)
    //collect：Actions算子。相当于toArrays,将分布式的RDD返回为一个单机的scala Array数组
    mappedRDD.collect.foreach(println)
    val filterRDD=mappedRDD.filter(x=>x>10)
    /*
    打印RDD中的所有元素的通常作法是使用rdd.foreach(println)
    或者 rdd.map(println).在单一的机器上，这样做会产生期望的结果。
    然而，在集群模式下，输出将会在每个执行体的标准输出上，而不是在驱动节点上，
    所以驱动节点的标准输出将不会有结果。为了在驱动节点上打印所有元素，
    可以先使用collect方法将RDD带到驱动节点上，rdd.collect().foreach(println)。
    这样做可能会造成驱动节点内存溢出，因为collect方法将整个RDD收集到一台机器上。
    如果你只是想打印RDD的部分元素，可以使用较为安全的做法:rdd.take(100).foreach(println)
    */
    filterRDD.collect().foreach(println)
    //在Spark的编程中，大多数功能的实现都只要一行代码即可完成。
    val filterRDDagain=sc.parallelize(List(1,2,3,4,5)).map(x=>x*2).filter(x=>x>4).collect().foreach(println)



  }

}
/usr/lib/jvm/java-7-sun/bin/java -Dspark.master=local -Didea.launcher.port=7533 -Didea.launcher.bin.path=/opt/idea/bin -Dfile.encoding=UTF-8 -classpath /usr/lib/jvm/java-7-sun/jre/lib/jfr.jar:/usr/lib/jvm/java-7-sun/jre/lib/javaws.jar:/usr/lib/jvm/java-7-sun/jre/lib/resources.jar:/usr/lib/jvm/java-7-sun/jre/lib/plugin.jar:/usr/lib/jvm/java-7-sun/jre/lib/jfxrt.jar:/usr/lib/jvm/java-7-sun/jre/lib/jsse.jar:/usr/lib/jvm/java-7-sun/jre/lib/charsets.jar:/usr/lib/jvm/java-7-sun/jre/lib/deploy.jar:/usr/lib/jvm/java-7-sun/jre/lib/management-agent.jar:/usr/lib/jvm/java-7-sun/jre/lib/rt.jar:/usr/lib/jvm/java-7-sun/jre/lib/jce.jar:/usr/lib/jvm/java-7-sun/jre/lib/ext/sunpkcs11.jar:/usr/lib/jvm/java-7-sun/jre/lib/ext/sunjce_provider.jar:/usr/lib/jvm/java-7-sun/jre/lib/ext/sunec.jar:/usr/lib/jvm/java-7-sun/jre/lib/ext/dnsns.jar:/usr/lib/jvm/java-7-sun/jre/lib/ext/zipfs.jar:/usr/lib/jvm/java-7-sun/jre/lib/ext/localedata.jar:/opt/IdeaProjects/SparkTest/target/scala-2.10/classes:/home/xuyao/.sbt/boot/scala-2.10.4/lib/scala-library.jar:/home/xuyao/spark/lib/spark-assembly-1.4.0-hadoop2.4.0.jar:/opt/idea/lib/idea_rt.jar com.intellij.rt.execution.application.AppMain testone
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/07/14 20:57:41 INFO SparkContext: Running Spark version 1.4.0
15/07/14 20:57:43 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/07/14 20:57:44 WARN Utils: Your hostname, hadoop resolves to a loopback address: 127.0.1.1; using 192.168.73.129 instead (on interface eth0)
15/07/14 20:57:44 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
15/07/14 20:57:44 INFO SecurityManager: Changing view acls to: xuyao
15/07/14 20:57:44 INFO SecurityManager: Changing modify acls to: xuyao
15/07/14 20:57:44 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(xuyao); users with modify permissions: Set(xuyao)
15/07/14 20:57:46 INFO Slf4jLogger: Slf4jLogger started
15/07/14 20:57:46 INFO Remoting: Starting remoting
15/07/14 20:57:47 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriver@192.168.73.129:37946]
15/07/14 20:57:47 INFO Utils: Successfully started service 'sparkDriver' on port 37946.
15/07/14 20:57:47 INFO SparkEnv: Registering MapOutputTracker
15/07/14 20:57:47 INFO SparkEnv: Registering BlockManagerMaster
15/07/14 20:57:47 INFO DiskBlockManager: Created local directory at /tmp/spark-eaaea5ed-bb48-4980-a40d-517c8fdbc043/blockmgr-34f5b064-af4a-44c7-880f-135ce2a50e8c
15/07/14 20:57:47 INFO MemoryStore: MemoryStore started with capacity 131.6 MB
15/07/14 20:57:47 INFO HttpFileServer: HTTP File server directory is /tmp/spark-eaaea5ed-bb48-4980-a40d-517c8fdbc043/httpd-623c7c2f-b6bd-4815-9de3-2c649fcf42b8
15/07/14 20:57:47 INFO HttpServer: Starting HTTP Server
15/07/14 20:57:48 INFO Utils: Successfully started service 'HTTP file server' on port 57984.
15/07/14 20:57:48 INFO SparkEnv: Registering OutputCommitCoordinator
15/07/14 20:57:53 INFO Utils: Successfully started service 'SparkUI' on port 4040.
15/07/14 20:57:53 INFO SparkUI: Started SparkUI at http://192.168.73.129:4040
15/07/14 20:57:54 INFO Executor: Starting executor ID driver on host localhost
15/07/14 20:57:54 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 35800.
15/07/14 20:57:54 INFO NettyBlockTransferService: Server created on 35800
15/07/14 20:57:54 INFO BlockManagerMaster: Trying to register BlockManager
15/07/14 20:57:54 INFO BlockManagerMasterEndpoint: Registering block manager localhost:35800 with 131.6 MB RAM, BlockManagerId(driver, localhost, 35800)
15/07/14 20:57:54 INFO BlockManagerMaster: Registered BlockManager
15/07/14 20:57:55 INFO SparkContext: Starting job: collect at testone.scala:14
15/07/14 20:57:55 INFO DAGScheduler: Got job 0 (collect at testone.scala:14) with 1 output partitions (allowLocal=false)
15/07/14 20:57:55 INFO DAGScheduler: Final stage: ResultStage 0(collect at testone.scala:14)
15/07/14 20:57:55 INFO DAGScheduler: Parents of final stage: List()
15/07/14 20:57:55 INFO DAGScheduler: Missing parents: List()
15/07/14 20:57:55 INFO DAGScheduler: Submitting ResultStage 0 (MapPartitionsRDD[1] at map at testone.scala:12), which has no missing parents
15/07/14 20:57:56 WARN SizeEstimator: Failed to check whether UseCompressedOops is set; assuming yes
15/07/14 20:57:56 INFO MemoryStore: ensureFreeSpace(1904) called with curMem=0, maxMem=137948037
15/07/14 20:57:56 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 1904.0 B, free 131.6 MB)
15/07/14 20:57:56 INFO MemoryStore: ensureFreeSpace(1201) called with curMem=1904, maxMem=137948037
15/07/14 20:57:56 INFO MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 1201.0 B, free 131.6 MB)
15/07/14 20:57:56 INFO BlockManagerInfo: Added broadcast_0_piece0 in memory on localhost:35800 (size: 1201.0 B, free: 131.6 MB)
15/07/14 20:57:56 INFO SparkContext: Created broadcast 0 from broadcast at DAGScheduler.scala:874
15/07/14 20:57:56 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 0 (MapPartitionsRDD[1] at map at testone.scala:12)
15/07/14 20:57:56 INFO TaskSchedulerImpl: Adding task set 0.0 with 1 tasks
15/07/14 20:57:56 INFO TaskSetManager: Starting task 0.0 in stage 0.0 (TID 0, localhost, PROCESS_LOCAL, 1345 bytes)
15/07/14 20:57:56 INFO Executor: Running task 0.0 in stage 0.0 (TID 0)
15/07/14 20:57:56 INFO Executor: Finished task 0.0 in stage 0.0 (TID 0). 639 bytes result sent to driver
15/07/14 20:57:56 INFO DAGScheduler: ResultStage 0 (collect at testone.scala:14) finished in 0.221 s
15/07/14 20:57:56 INFO TaskSetManager: Finished task 0.0 in stage 0.0 (TID 0) in 198 ms on localhost (1/1)
15/07/14 20:57:56 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 
15/07/14 20:57:56 INFO DAGScheduler: Job 0 finished: collect at testone.scala:14, took 0.658227 s
3
6
9
12
15
18
21
24
27
15/07/14 20:57:56 INFO SparkContext: Starting job: collect at testone.scala:25
15/07/14 20:57:56 INFO DAGScheduler: Got job 1 (collect at testone.scala:25) with 1 output partitions (allowLocal=false)
15/07/14 20:57:56 INFO DAGScheduler: Final stage: ResultStage 1(collect at testone.scala:25)
15/07/14 20:57:56 INFO DAGScheduler: Parents of final stage: List()
15/07/14 20:57:56 INFO DAGScheduler: Missing parents: List()
15/07/14 20:57:56 INFO DAGScheduler: Submitting ResultStage 1 (MapPartitionsRDD[2] at filter at testone.scala:15), which has no missing parents
15/07/14 20:57:56 INFO MemoryStore: ensureFreeSpace(2088) called with curMem=3105, maxMem=137948037
15/07/14 20:57:56 INFO MemoryStore: Block broadcast_1 stored as values in memory (estimated size 2.0 KB, free 131.6 MB)
15/07/14 20:57:56 INFO MemoryStore: ensureFreeSpace(1272) called with curMem=5193, maxMem=137948037
15/07/14 20:57:56 INFO MemoryStore: Block broadcast_1_piece0 stored as bytes in memory (estimated size 1272.0 B, free 131.6 MB)
15/07/14 20:57:56 INFO BlockManagerInfo: Added broadcast_1_piece0 in memory on localhost:35800 (size: 1272.0 B, free: 131.6 MB)
15/07/14 20:57:56 INFO SparkContext: Created broadcast 1 from broadcast at DAGScheduler.scala:874
15/07/14 20:57:56 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 1 (MapPartitionsRDD[2] at filter at testone.scala:15)
15/07/14 20:57:56 INFO TaskSchedulerImpl: Adding task set 1.0 with 1 tasks
15/07/14 20:57:56 INFO TaskSetManager: Starting task 0.0 in stage 1.0 (TID 1, localhost, PROCESS_LOCAL, 1345 bytes)
15/07/14 20:57:56 INFO Executor: Running task 0.0 in stage 1.0 (TID 1)
15/07/14 20:57:56 INFO Executor: Finished task 0.0 in stage 1.0 (TID 1). 627 bytes result sent to driver
15/07/14 20:57:56 INFO DAGScheduler: ResultStage 1 (collect at testone.scala:25) finished in 0.006 s
15/07/14 20:57:56 INFO DAGScheduler: Job 1 finished: collect at testone.scala:25, took 0.029612 s
12
15
18
21
24
27
15/07/14 20:57:56 INFO TaskSetManager: Finished task 0.0 in stage 1.0 (TID 1) in 10 ms on localhost (1/1)
15/07/14 20:57:56 INFO TaskSchedulerImpl: Removed TaskSet 1.0, whose tasks have all completed, from pool 
15/07/14 20:57:56 INFO SparkContext: Starting job: collect at testone.scala:27
15/07/14 20:57:56 INFO DAGScheduler: Got job 2 (collect at testone.scala:27) with 1 output partitions (allowLocal=false)
15/07/14 20:57:56 INFO DAGScheduler: Final stage: ResultStage 2(collect at testone.scala:27)
15/07/14 20:57:56 INFO DAGScheduler: Parents of final stage: List()
15/07/14 20:57:56 INFO DAGScheduler: Missing parents: List()
15/07/14 20:57:56 INFO DAGScheduler: Submitting ResultStage 2 (MapPartitionsRDD[5] at filter at testone.scala:27), which has no missing parents
15/07/14 20:57:56 INFO MemoryStore: ensureFreeSpace(2088) called with curMem=6465, maxMem=137948037
15/07/14 20:57:56 INFO MemoryStore: Block broadcast_2 stored as values in memory (estimated size 2.0 KB, free 131.5 MB)
15/07/14 20:57:56 INFO MemoryStore: ensureFreeSpace(1259) called with curMem=8553, maxMem=137948037
15/07/14 20:57:56 INFO MemoryStore: Block broadcast_2_piece0 stored as bytes in memory (estimated size 1259.0 B, free 131.5 MB)
15/07/14 20:57:56 INFO BlockManagerInfo: Added broadcast_2_piece0 in memory on localhost:35800 (size: 1259.0 B, free: 131.6 MB)
15/07/14 20:57:56 INFO SparkContext: Created broadcast 2 from broadcast at DAGScheduler.scala:874
15/07/14 20:57:56 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 2 (MapPartitionsRDD[5] at filter at testone.scala:27)
15/07/14 20:57:56 INFO TaskSchedulerImpl: Adding task set 2.0 with 1 tasks
15/07/14 20:57:56 INFO TaskSetManager: Starting task 0.0 in stage 2.0 (TID 2, localhost, PROCESS_LOCAL, 1329 bytes)
15/07/14 20:57:56 INFO Executor: Running task 0.0 in stage 2.0 (TID 2)
15/07/14 20:57:56 INFO Executor: Finished task 0.0 in stage 2.0 (TID 2). 615 bytes result sent to driver
15/07/14 20:57:56 INFO TaskSetManager: Finished task 0.0 in stage 2.0 (TID 2) in 17 ms on localhost (1/1)
15/07/14 20:57:56 INFO TaskSchedulerImpl: Removed TaskSet 2.0, whose tasks have all completed, from pool 
15/07/14 20:57:56 INFO DAGScheduler: ResultStage 2 (collect at testone.scala:27) finished in 0.013 s
15/07/14 20:57:56 INFO DAGScheduler: Job 2 finished: collect at testone.scala:27, took 0.027730 s
6
8
10
15/07/14 20:57:56 INFO SparkContext: Invoking stop() from shutdown hook
15/07/14 20:57:56 INFO BlockManagerInfo: Removed broadcast_2_piece0 on localhost:35800 in memory (size: 1259.0 B, free: 131.6 MB)
15/07/14 20:57:56 INFO SparkUI: Stopped Spark web UI at http://192.168.73.129:4040
15/07/14 20:57:56 INFO DAGScheduler: Stopping DAGScheduler
15/07/14 20:57:56 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
15/07/14 20:57:56 INFO Utils: path = /tmp/spark-eaaea5ed-bb48-4980-a40d-517c8fdbc043/blockmgr-34f5b064-af4a-44c7-880f-135ce2a50e8c, already present as root for deletion.
15/07/14 20:57:56 INFO MemoryStore: MemoryStore cleared
15/07/14 20:57:57 INFO BlockManager: BlockManager stopped
15/07/14 20:57:57 INFO BlockManagerMaster: BlockManagerMaster stopped
15/07/14 20:57:57 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
15/07/14 20:57:57 INFO SparkContext: Successfully stopped SparkContext
15/07/14 20:57:57 INFO Utils: Shutdown hook called
15/07/14 20:57:57 INFO Utils: Deleting directory /tmp/spark-eaaea5ed-bb48-4980-a40d-517c8fdbc043
15/07/14 20:57:57 INFO RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon.

Process finished with exit code 0
谁用了尧哥这个昵称
关注
专栏目录
IntelliJ IDEA安装教程（以IDEA2020.1为例）
蓝多多的小仓库
12-15 46万+
不然会报错嗷（即：第六节所示）！因为我之前有JDK，所以为了更好的演示，我先把JDK17卸载了。
IntelliJ IDEA快速入门 | 第六篇：使用IntelliJ IDEA编写你的第一个Java程序
李阿昀的博客
03-24 3599
现在我们就要使用IntelliJ IDEA来编写咱们的第一个Java程序了，这是我们的第一次，值得好好记录！ 第一步，双击IntelliJ IDEA在桌面上的快捷方式启动IntelliJ IDEA，如果你是首次启动IntelliJ IDEA，那么这时会弹出如下这样一个对话框，这儿是来告诉我们是否需要导入我们以前的一些版本的设置，由于我们这并没有，所以默认即可，然后直接点击OK按钮。 第二步，这时你会发现弹出了一个如下对话框，这儿是来告诉我们要激活IntelliJ IDEA。 因为我们安装的是UItima
spark RDD算子（二）filter、map、flatmap
qq_40333693的博客
11-11 471
filter 在本工程中，有如下路径的文件 in/sample.txt 内容如下 aa bb cc aa aa aa dd dd ee ee ee ee ff aa bb zks ee kks ee zz zks 将包含zks的行的内容找出来 scala版本 val lines = sc.textFile("in/sample.txt").filter(x => x.contains("zks")) lines.collect().foreach(println) 结果如下 java版本 Jav
Spark RDD算子(二) filter、map、flatMap
timicai的博客
11-10 372
filter、map、flatMap一、filter二、map三、flatMap 一、filter 过滤算子 scala版本 val conf = new SparkConf().setMaster("local[2]").setAppName("filterscala") val sc=new SparkContext(conf) val rdd = sc.textFile("in/sample.txt") rdd.filter(_.contains("zks")).collect.foreach(pr
Spark 中的RDD是个什么鬼，我们为什么需要它？
zdy0_2004的专栏
11-03 2065
Spark 中的RDD是个什么鬼，我们为什么需要它？ 2015-11-02 小象 译者：付军 原文链接：https://dzone.com/articles/what-is-rdd-in-spark-and-why-do-we-need-it 小象科技原创作品，欢迎大家疯狂转发； 机构、自媒体平台转载务必至后台留言，申请版权。 Spark 中的R
Spark RDD算子之 -- filter、map、flatMap
绿萝蔓蔓绕枝生
11-09 1408
1、filter 对元素进行过滤，对每个元素应用指定函数，返回值为true的元素保留在新的 RDD 中 读取文件sample.txt中的内容如下；现要求找出包含zks的整行内容 aa bb cc aa aa aa dd dd ee ee ee ee ff aa bb zks ee kks ee zz zks Scala版本 val conf = new SparkConf().setAppName("Filter").setMaster("local[*]") val sc = new
java rrd 读取_java Spark 读取hbase数据
weixin_29735075的博客
02-16 111
引用的jar包(maven)1.81.2.34.1.12.4.62.3.02.7.4org.apache.hadoophadoop-client${hadoop.version}org.slf4jslf4j-log4j12javax.servletservlet-apiorg.apache.hadoophadoop-common${hadoop.version}org.slf4jslf4j-log...
mapstruct-idea:IntelliJ IDEA插件，可与MapStruct一起使用
05-02
IntelliJ IDEA插件，可与MapStruct一起使用 什么是MapStruct？ MapStruct是一个Java用于为Java Bean类生成类型安全和高性能的映射器。 要了解有关MapStruct的更多信息，请查看存储库或 特征 代码完成 完成@Mapping...
SparkTest:Intellij Idea中的Spark Scala项目样本
04-30
SparkTest是一个示例项目，它展示了如何在IntelliJ IDEA这个强大的Java和Scala开发环境中集成Apache Spark和Scala进行数据分析和处理。这个项目对于初学者和有经验的开发者来说，都是一个宝贵的资源，因为它提供了一...
spark-7.sparkcore_4_RRD的行动操作与统计函数
qq_30657195的博客
06-26 287
1.RDD的行动操作Action 1 .reduce def reduce(f: (T, T) => T): T 如果最后不是返回RDD，那么就是行动操作。 通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的。如： val rdd = sc.makeRDD(1 to 10) scala> rdd.reduce(_+_) res4: Int = 55 2.collect def collect(): Array[T] 将RDD的数据返回到driver层。在驱动程序中，
大数据——Spark RDD算子（二）filter、map、flatMap
蜂蜜柚子加苦茶
11-05 453
大数据——Spark RDD算子（二）filter、map、flatMap示例文件filterScala版本Java版本mapScala版本Java版本flatMapScala版本Java版本，Spark2.0以上 示例文件 在同级目录下有一个文件夹in，文件夹in下有一个sample.txt，内容如下 aa bb cc aa aa aa dd dd ee ee ee ee ff aa bb zks ee kks ee zz zks filter filter()接收一个函数，把这个函数用于RDD
Spark RDD分区
最新发布
梁辰兴的博客
06-06 1466
在有些情况下，使用Spark自带的分区器满足不了特定的需求。例如，某学生有以下3科三个月的月考成绩数据。科目成绩chinese98math88english96chinese89math96english67chinese88math78english89现需要将每一科成绩单独分配到一个分区中，然后将3科成绩输出到HDFS的指定目录（每个分区对应一个结果文件），此时就需要对数据进行自定义分区。
Spark RDD中Runtime流程解析
09-03 659
一、Runtime架构图 （1）从Spark Runtime的角度讲，包括五大核心对象：Master、Worker、Executor、Driver、CoarseGrainedExecutorBackend。 （2）Spark在做分布式集群系统设计的时候：最大化功能独立、模块化封装具体独立的对象、强内聚松耦合。Spark运行架构图如下图所示。 　　 （3）当Driver中的SparkContext初始化时会提交程序给Master，Master如果接受该程序在Spark中运行，就会为当前的程序分配Ap.
python 数据处理 - JSON模块
weixin_41535493的博客
10-16 419
python 数据处理 - JSON库 1.将字典保存为JSON格式数据 final_dict = {"version": 1, "battery": 2} json_result = json.dumps(final_dict) filename = 'result_temp.json' with open(filename,'w') as file_obj: json.dump(json.loads(json_result), file_obj, indent=4,
SparkRDD算子--zip算子
寒暄的博客
08-01 930
语法 val newRdd = oldRdd1.zip(oldRdd2) 源码 def zip[U](other : org.apache.spark.rdd.RDD[U])(implicit evidence$10 : scala.reflect.ClassTag[U]) : org.apache.spark.rdd.RDD[scala.Tuple2[T, U]] = { /* compiled code */ } 作用 将两个RRD组合为K-V类型。 例子 package com.day1 impo
使用IDEA进行RDD编程+scala打包运行
龙焱的博客
11-08 2360
前言 本篇文章结合上一篇文章的spark-shell编程的基础，进行了如下工作 将scala的shell中的命令整合成一个完整的.scala格式的文件 使用IDEA将程序打包上传后执行 配置IDEA连接hadoop和spark，直接在本地上运行.scala文件 安装IDEA 一、本机下载安装scala 1.说明 这一步可以跳过，因为在后面可以直接在IDEA中安装scala，但是由于在线安装时间...
从零到一spark进阶之路（一）
IT届的小学生
05-11 1649
从零到一spark进阶之路（一） 1.RDD RDD是spark特有的数据模型，谈到RDD就会提到什么弹性分布式数据集，什么有向无环图，本文暂时不去展开这些高深概念。 （0）随便找个点理解以下 最重要的记住，RRD是不可变的，也就是说，已有的RDD不能被修改或者更新，但可以从已有的RDD转化成一个新的RDD. 上面的特性解读： RDD可以cache到内存中，每次对RDD数据集的操作...
Spark GraphX学习笔记
热门推荐
qq_34531825的博客
08-26 1万+
Spark 2.0Graphx学习笔记 概述、图计算应用场景、Spark中图的建立及图的基本操作 利用顶点和边RDD建立一个简单的属性图、读取文件建立图 三种视图及操作、Spark GraphX中的图的函数大全、结构操作 子图subgraph、图的基本信息统计-度计算、Join 连接、相邻聚合消息聚合 图算法工具包、数三角形、连通图、PageRank让链接来投票 pregel、应用实例一Louvai
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值