- 博客(8)
- 收藏
- 关注
原创 spark总结
元组(Tuple)是一种类似于列表的结构,但与列表不同的是,元组可以包含不同类的元素。元组的值是通过将单个的值包含在圆括号中构成的。映射(Map)是一种可迭代的键值对结构,所有值都可以通过键获取,并且映射中键都是唯一的,定义如图2-31所示。#也可以使用write()方法写入数据,pw.write("IamlearningScala")#使用sortBy()方法对元组的第二个值进行降序排序,分区个数设置为1。#通过filter()方法过滤其中每个元组第二个值小于等于1的元素。20,fillter()方法。
2024-05-19 01:56:03 1810
原创 无人售货机项目的实现
该项目将许多数据进行可视化并分别展示,能够帮助用户轻松地了解销售信息,帮助用户作出判断,各种图例也运用合理,恰到好处,条形图显示具体数据,折线图显示数据变化情况,饼图将数据与整体进行对比,雷达图显示多个方面的优劣,矩阵树图分块展示,词云图标签,关键词收集,散点图单个分析...同时图例间也相互结合,在一个图上显示更多信息,使整个可视化的图示更加简洁 .4通过条形图,告诉用户顾客最喜欢的十个商品是哪十个 ,以及对应的销量是多少。5用饼图显示了顾客的付款情况,帮助了解顾客的付款习惯。
2024-05-13 12:58:17 169
原创 在IDEA中搭建spark环境并实现99乘法表
2打开idea找到file----setting。3点plugins搜索scala并安装。1进管网下载IDEA并安装。
2024-03-19 15:14:23 262 1
原创 对spark和Scala的一些总结
Scala 是一门多范式(multi-paradigm)的编程语言,但它并不是一门新的编程语言。面向对象特性 Scala是一种纯面向对象的语言,每个值都是对象。类抽象机制的扩展有两种途径:一种途径是子类继承,另一种途径是灵活的混入机制。这两种途径能避免多重继承的种种问题。Spark立足于内存计算,相比Hadoop MapReduce,Spark在性能上要高100倍,而且Spark提供了比Hadoop更上层的API,同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。
2024-03-11 08:44:54 567
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人