![](https://img-blog.csdnimg.cn/1d895e598cfc4853995ae5c3e60737b9.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
云计算
文章平均质量分 93
云计算与大数据课程相关内容
MrNeoJeep
Talk is cheap,show me your code.
展开
-
云计算实验4 面向行业背景的大数据分析与处理综合实验
本次实验主要了解了Spark SQL的基本概念、DataFrame、Spark SQL开发,利用Spark进行大数据分析实现交通数据分析系统,结合使用百度地图提供的API实现可视化的图表。其中实验4-1,4-2提供理论基础和实验环境,实验4-3最终实现交通数据的综合分析。原创 2022-11-17 16:32:25 · 1193 阅读 · 0 评论 -
云计算实验3 基于Scala编程语言的Spark数据预处理实验
本次实验主要使用了Scala语言进行基本的操作,基本熟悉Scala的基本语法、数据类型以及函数的使用,在spark-shell下完成RDD的基本操作,根据实际业务需求使用spark 完成对Apache格式的日志内容的分析,了解了自定义日志过滤函数、日志预处理、日志的相关指标等操作。原创 2022-11-07 20:27:47 · 2414 阅读 · 0 评论 -
云计算实验2 Spark分布式内存计算框架配置及编程案例
本次实验主要是完成spark的安装配置和利用spark技术完成单词计数程序,旨在通过安装配置过程来体会spark技术,spark是一种用于大数据工作负载的分布式开源处理系统,它支持很多语言,例如Java,Python,Scala等,在本次实验中我们使用的Scala。一项技术的诞生必然是为了解决现有的问题, Hadoop MapReduce处理数据时存在大量的磁盘读取和写入,频繁的磁盘读取造成MapReduce作业很慢,而spark的出现就是为了解决这个问题。原创 2022-11-03 08:00:00 · 1491 阅读 · 0 评论 -
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例
云计算实验一原创 2022-10-23 17:27:41 · 3352 阅读 · 0 评论