大数据
BUG店长
一个只会敲bug的业余店长!!!!
展开
-
什么是RDD、什么是算子、思维导图
什么是RDD、什么是算子、思维导图原创 2021-03-14 22:15:50 · 261 阅读 · 0 评论 -
Spark中什么是RDD,什么是算子
Spark中什么是RDD,什么是算子RDD(Resilient Distributed Dataset),弹性分布式数据集。 RDD理解图 RDD是Spark数据结构最基本的抽象化概念之一。 本质上 RDD是不存数据的,存的是计算逻辑,打个比方: 有一个流水线工厂里面有工人RDD1、RDD2、RDD3当一个工件下来时RDD1做的是flatMap()加工,做完之后,被加工后的工件传到RDD2那边做map()加工,之后再传给RDD3做一些其他加工。 直到工件加工完成 出货为止。。。原创 2021-03-08 20:02:23 · 957 阅读 · 0 评论 -
Spark——WordCount详解
WordCount详解scala代码object WordCount extends App{ //1.创建`SparkConf`对象(环境构建 设置相关配置信息) private val conf = new SparkConf() //2.对conf进行设置 conf.setMaster("local").setAppName("wc") //3.基于配置好的conf创建spark上下文运行环境 private val sc = new SparkContext(conf)/原创 2021-03-08 12:01:14 · 583 阅读 · 0 评论 -
什么是Spark,Spark的架构图
什么是Spark,Spark的架构图,Spark的思维导原创 2021-03-08 09:45:22 · 94 阅读 · 0 评论 -
Spark的专业术语
Spark的基本术语表原创 2021-03-08 09:37:46 · 151 阅读 · 0 评论 -
Scala——隐式转换
概念隐式转换是在Scala编译器进行类型匹配时,如果找不到合适的类型,那么隐式转换会让编译器在作用范围内自动推导出来合适的类型。隐式值与隐式参数隐式值是指在定义参数时前面加上implicit。隐式参数是指在定义方法时,方法中的部分参数是由implicit修饰【必须使用柯里化的方式,将隐式参数写在后面的括号中】隐式转换作用就是:当调用方法时,不必手动传入方法中的隐式参数,Scala会自动在作用域范围内寻找隐式值自动传入。 //隐式值 注意隐式参数和隐式值的类型要一致 implicit val原创 2021-03-05 20:36:33 · 76 阅读 · 0 评论 -
什么是Scala,Scala有什么作用,Scala的思维导图
什么是Scala,Scala有什么作用,Scala的思维导图原创 2021-03-05 20:06:36 · 107 阅读 · 0 评论 -
MapReduce
MapReduce什么是MapReduce(分布式计算系统)?mapreduce是一种分布式运算程序的编程模型,用于大规模数据集(大于1TB)的并行运算。必须构建在hdfs之上,一种大数据离线计算框架概念MR有两个阶段组成:Map和Reduce,用户只需实现map()和reduce()两个函数,即可实现分布式计算。map–>映射(key value)reduce–>归纳核心功能核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序,并发运行在一个 had原创 2021-01-27 21:29:38 · 190 阅读 · 0 评论