Spark学习
Spark学习
无敌火车滴滴开
这个作者很懒,什么都没留下…
展开
-
Spark流计算-day2
Spark流计算TransformationsDStream转换与RDD的转换类似,将DStream转换成新的DStream.DStream常⻅的许多算⼦使⽤和SparkRDD保持⼀致。map算⼦//1,zhangsan,truelines.map(line=> line.split(",")) .map(words=>(words(0).toInt,words(1),wo...原创 2020-03-01 23:43:04 · 210 阅读 · 0 评论 -
Spark流计算-day1
Spark流计算概述⼀般流式计算会与批量计算相⽐较。在流式计算模型中,输⼊是持续的,可以认为在时间上是⽆界的,也就意味着,永远拿不到全量数据去做计算。同时,计算结果是持续输出的,也即计算结果在时间上也是⽆界的。流式计算⼀般对实时性要求较⾼,同时⼀般是先定义⽬标计算,然后数据到来之后将计算逻辑应⽤于数据。同时为了提⾼计算效率,往往尽可能采⽤增量计算代替全量计算。批量处理模型中,⼀般先有全量数据集...原创 2020-03-01 20:02:25 · 202 阅读 · 0 评论 -
Spark学习-day 2
RDD OperationsRDD⽀持两种类型的操作:transformations-转换 ,将⼀个已经存在的RDD转换为⼀个新的RDD,另外⼀种称为actions-动作 ,动作算⼦⼀般在执⾏结束以后,会将结果返回给Driver。在Spark中所有的transformations 都是lazy的,所有转换算⼦并不会⽴即执⾏,它们仅仅是记录对当前RDD的转换逻辑。仅当Actions 算⼦要求将结果...原创 2020-02-24 19:24:20 · 97 阅读 · 0 评论 -
Spark学习-day 1
Spark Shell①./bin/spark-shell --master yarn --deploy-mode client --executor-cores4 --num-executors 3②./bin/spark-shell --master spark://zly:7077 --total-executor-cores 6原创 2020-02-19 00:06:55 · 136 阅读 · 0 评论