![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
期末复习
文章平均质量分 92
?CaMKII
这个作者很懒,什么都没留下…
展开
-
Spark究极复习
1. 大数据计算体系大数据计算体系:数据存储系统、数据处理系统、数据应用系统数据存储系统:包括数据采集层(系统日志、网络爬虫、无线传感器网络、物联网、以及各种数据源);数据清洗、抽取与建模(将各种类型的结构化、非结构化、异构数据转化为标准存储格式数据,并定义数据属性及值域);数据存储架构(集中式/分布式文件系统、关系型数据库/分布式数据库、行存储数据结构/列存储数据结构、键值对结构、哈希表检索);数据统一接口等。数据处理系统:包括针对不同类型数据的计算模型,如针对海量数据的MapReduce批处理原创 2021-06-23 15:09:51 · 322 阅读 · 1 评论 -
HUBU期末复习_大数据分析与内存计算_RDD部分
Spark RDD编程1. 创建Spark连接// Spark连接配置,setMaster为Spark程序运行位置,一般使用local在本地运行,也可以在cluster上运行;setAppName是Spark程序的名称val conf = new SparkConf().setMaster("local[*]").setAppName("Name")// 设置并行度,也即当前环境可用的核数量,可以不配置,默认为totalCores(也即当前环境最大可用核数量)//conf.set("spark.原创 2021-06-21 14:08:37 · 635 阅读 · 0 评论