Spark
文章平均质量分 80
愿人了
这个作者很懒,什么都没留下…
展开
-
Spark MLlib应用
Spark MLlib应用实验目的深入理解和掌握Spark MLlib的操作方法;理解Spark MLlib编程解决实际问题的方法。实验要求掌握基于Spark MLlib的Scala编程环境配置;掌握Spark MLlib的操作编程方法。实验内容参考实验四创建一个支持Spark SQL的项目在Maven中配置Spark MLlib编程环境,pom.xml中添加:<dependency> <groupId>org.apache.spark</group原创 2021-01-14 20:49:19 · 948 阅读 · 0 评论 -
Spark Streaming应用
Spark Streaming应用实验目的深入理解和掌握Spark Stream中DStream无状态操作的方法;理解Spark Stream编程解决实际问题的方法。实验要求掌握基于Spark Stream的Scala和Spark SQL编程环境配置;掌握Spark Stream中DStream无状态操作编程方法。实验内容参考实验二创建一个Spark项目在Maven中配置Spark Streaming编程环境,pom.xml中添加:<dependency> <g原创 2021-01-14 20:13:34 · 419 阅读 · 0 评论 -
Spark SQL应用
Spark SQL应用实验目的深入理解和掌握DataFrame各种常见操作和编程方法;掌握使用Spark SQL编程解决实际问题的方法。实验要求掌握基于Maven的Scala和Spark SQL编程环境配置;掌握DataFrame查询方法。实验内容将实验二中的Online Retail.csv上传至HDFS在Maven中配置Spark SQL编程环境,pom.xml中添加:<dependency> <groupId>org.apache.spark<原创 2021-01-14 19:48:01 · 681 阅读 · 0 评论 -
RDD综合应用
RDD综合应用实验目的深入理解和掌握RDD各种常见操作和编程方法;掌握使用RDD编程解决实际问题的方法;掌握RDD分区映射编程方法;掌握RDD算法优化方法。实验要求掌握基于Maven的Scala和Spark Core编程环境配置;掌握Scala容器方法编程;掌握RDD数据分区;掌握RDD算法优化方法。实验内容配置Scala和Spark Core编程环境将文件TestHTML.txt上传至HDFS文件TestHTML.txt中每一行为一个HTML网页,原本的HTML中原本的\r\n原创 2021-01-14 13:16:49 · 744 阅读 · 1 评论 -
SCALA RDD编程基础
SCALA RDD编程基础实验目的熟悉Scala语法和函数式编程方法;掌握Scala和Spark Core编程环境配置;掌握常用Scala容器方法;掌握基于Scala的Spark RDD编程。实验内容配置Scala和Spark Core编程环境将文件Online Retail.txt上传至HDFS编写代码,实现以下功能:(1) 将Online Retail.txt按行读取至RDD(2) 统计各咖啡商品的销售额,按金额降序排列后保存(3) 统计各顾客的总消费金额,按金额降序排列后保存(4原创 2021-01-14 10:56:58 · 1551 阅读 · 0 评论 -
SPARK集群安装配置
SPARK集群安装配置实验目的熟悉Linux操作系统基本操作和Spark平台安装配置方法,理解Spark的提交模式和运行方法。实验内容实验过程参考文档《Spark集群环境配置》1.配置至少3台虚拟机的集群2.安装配置Spark Standalone集群3.基于Hadoop HDFS和YARN集群配置Spark4.在Spark集群中安装Hadoop并配置5.分别以Local、Standalone和YARN三种提交模式启动Spark Shell6.在上述三种提交模式下测试Spark命令:执行原创 2021-01-13 23:20:46 · 460 阅读 · 0 评论