Spark
Sophia$
算法
展开
-
Spark编程基础-(二)Scala语言基础
1. Scala语言概述1.1 计算机的起源阿隆佐邱奇设计了演算的系统,形式系统。阿兰图灵提出图灵机。冯诺依曼是计算机体系结构的奠基者。1945年提出计算机体系结构。图1 冯诺依曼体系结构1.2 编程范式图2 两大编程范式命令式语言完全根植于冯诺依曼体系结构的。函数式编程(或者称为泛函编程)将计算机中的计算看成是数学上的函数计算。源于演算。Scala也融合了函数式编程的风格。在大数据时代,我们要实现的是并行计算。命令式编程中,线程之间会共享一些变量,为了保持变原创 2020-08-31 20:40:13 · 1080 阅读 · 0 评论 -
Spark编程基础-(一)大数据技术概述
1. 大数据时代大数据时代开启:2010年大数据元年:2013年图1 三个信息化浪潮1.1 大数据时代为什么会到来?共有两个方面:大数据产生的技术支撑和数据产生方式的变革。1.1.1大数据产生的技术支撑(3个)(1) 存储设备成本越来越低,容量越来越大。人们不会再挑选哪些要存储,哪些不需要存储。(2) CPU计算能力按照摩尔定律(芯片上的晶体管数量每隔24个月将增加一倍),CPU处理能力大概每隔18-24个月会翻一番。虽然单核CPU上的晶体管数量是有限的,因此.原创 2020-08-30 15:33:05 · 915 阅读 · 1 评论