Spark
Sophia$
算法
展开
-
Spark编程基础-(二)Scala语言基础
1. Scala语言概述 1.1 计算机的起源 阿隆佐邱奇设计了演算的系统,形式系统。 阿兰图灵提出图灵机。 冯诺依曼是计算机体系结构的奠基者。1945年提出计算机体系结构。 图1 冯诺依曼体系结构 1.2 编程范式 图2 两大编程范式 命令式语言完全根植于冯诺依曼体系结构的。 函数式编程(或者称为泛函编程)将计算机中的计算看成是数学上的函数计算。源于演算。 Scala也融合了函数式编程的风格。 在大数据时代,我们要实现的是并行计算。命令式编程中,线程之间会共享一些变量,为了保持变原创 2020-08-31 20:40:13 · 1095 阅读 · 0 评论 -
Spark编程基础-(一)大数据技术概述
1. 大数据时代 大数据时代开启:2010年 大数据元年:2013年 图1 三个信息化浪潮 1.1 大数据时代为什么会到来? 共有两个方面:大数据产生的技术支撑和数据产生方式的变革。 1.1.1大数据产生的技术支撑(3个) (1) 存储设备 成本越来越低,容量越来越大。人们不会再挑选哪些要存储,哪些不需要存储。 (2) CPU计算能力 按照摩尔定律(芯片上的晶体管数量每隔24个月将增加一倍),CPU处理能力大概每隔18-24个月会翻一番。 虽然单核CPU上的晶体管数量是有限的,因此.原创 2020-08-30 15:33:05 · 923 阅读 · 1 评论