2301_77563994-CSDN博客

原创 Spark SQL--结构化数据文件处理知识点总结（书第五章）

Spark SQL使用的数据抽象并非是RDD，而是DataFrame。在Spark 1.3.0版本之前，DataFrame被称为SchemaRDD。DataFrame使Spark具备处理大规模结构化数据的能力。在Spark中，DataFrame是一种以RDD为基础的分布式数据集。DataFrame的结构类似传统数据库的二维表格，可以从很多数据源中创建，如结构化文件、外部数据库、Hive表等数据源。

2024-05-14 21:11:54 909 2

原创 Spark编程进阶--期末总结（书第四章）

比如，mapreduce计算模型延迟过高，无法实现实时快速计算的需求，只适用于离线批处理，I/O磁盘开销大。双击打开下载好的安装程序，一直“Next”即可，最好不要安装到C盘，中间修改一下安装路径即可，最后点击“Finish”。管理spark程序依赖jar，此时要能上网，在pom.xml文件中，添加如下配置信息。刷新maven工程，会自动下载所需依赖jar，此时会下载时间较长，耐心等待。下载完成后，将下载的压缩包解压到IDEA安装目录下的plugins目录下。

2024-05-14 20:36:15 737 2

原创 Spark编程进阶--知识点总结（书第三章）

因此在实际Spark应用程序的开发中，在main方法中需要创建SparkContext对象，作为Spark应用程序的入口，并在Spark程序结束时关闭SparkContext对象。第二种方式生成的RDD中保存的是T的值，Seq[String]部分的数据会按照Seq[(T,Seq[String])]的顺序存放到各个分区中，一个Seq[String]对应存放至一个分区，并为数据提供位置信息，通过preferredLocations()方法可以根据位置信息查看每一个分区的值。

2024-05-13 18:13:24 874

原创 Spark-Scala基础期末总结（书第二章）

Scala会区分不同类型的值，并且会基于使用值的方式确定最终结果的数据类型，这称为类型推断。Scala使用类型推断可以确定混合使用数据类型时最终结果的数据类型。如在加法中混用Int和Double类型时，Scala将确定最终结果为Double类型，如下图：数组是Scala中常用的一种数据结构，数组是一种存储了相同类型元素的固定大小的顺序集合。Scala定义一个数组的语法格式如下：第1种方式 var arr: Array[String] = new Array[String](num)

2024-05-13 16:20:22 846 1

原创实训-分析无人售货机总结（解析）

大屏数据可视化是以大屏为主要展示载体的数据可视化设计。利用面积大、可展示信息多等特点，通过关键信息大屏共享的方式，可方便团队讨论、决策。对无人售货机的销售总情况进行大屏可视化展示，如图所示。由图可以看出，除销售金额外，其余各特征的环比增长率均大于0；平均每天的销售额在5000元以上，每日销售金额环比增长率波动幅度较大，2019年9月26日销售额的增长速度最快；在支付方式上，用户普遍使用微信或支付宝的方式进行支付对无人售货机销售情况进行大屏可视化，如图所示。

2024-05-13 11:19:36 981

原创 ECharts-html 数据可视化项（八）

目录一、EChart的图表混搭绘制带水印的柱状图与饼图混搭图表二、多表联动的实际案例绘制王者荣耀里某一英雄人物的数值首先我们要先搞清楚添加水印的代码，添加水印的代码为：接下来我们要绘制柱状图和饼图（借鉴ECharts官网的图案）完整代码为：效果图：我这里使用王者荣耀里面的某一个英雄人物为例来绘制饼图和雷达图的多表联动，我借助了官网里的图表。实现多表联动有两个方法： 2.直接调用ECharts的connect方法，参数为一个由多个需要联动的ECharts对象组成的数组，代

2024-04-22 09:56:40 309

原创 ECharts-html数据可视化（七）

yAxis数组中，通过posi同：‘right’ 指定y轴的位置（如果没有指定position的值，那默认位置为'left'）series数组中，通过代码yAxisIndex:1，指定第二个y轴（0代表第一个y轴，1代表第二个y轴）几个图标混搭，可以使表更具有。下面我们绘制一个双y图。

2024-04-22 07:59:50 212

原创 ECharts-html图表实训(六)

雷达图又叫做戴布拉图，蜘蛛网图，适用于显示三个或更多维度的变量。

2024-04-01 14:59:52 635

原创 ECharts-html 实训（四）

散点图，顾名思义就是使用一些散乱的点来展示数据的一种图表，这些点在哪个位置，是由其X值和Y值确定的，因此散点图也叫做XY散点图，

2024-04-01 13:12:08 1628

原创 ECharts-html实训（五）

绘制金字塔图只需要把漏斗图中的series中的sort的取值由'descending'改为'ascending'就可以由漏斗图变为金字塔图。

2024-04-01 13:11:25 331

原创 ECharts-html 实训（二）

圆环图是在圆环中显示数据的图形，其中每一个圆弧代表一个数据项，用于对比分类数据的数值大小。在绘制环形图时，适合用一个分类数据字段或连续数据字段，但数据最好不超过9条。制作圆环图，只需要在饼图的代码中将“radius”中的数据修改一下，修改后的半径是两个数值的数组，分别代表圆环的内外半径。

2024-03-24 21:26:10 1569 1

原创 ECharts-html 图表的项目实训（一）

瀑布图其实是柱状图的一种特例，瀑布图的核心是按照维度/指标下钻分解，瀑布图通常被用在公司收入各用途分解、公司年利润按分公司分解等情况下。1.去掉x轴和y轴。将xAxis和yAxis配置项给删掉，饼图不需要坐标轴。2.移除series中的type:'line'，改为type:'pie'4.添加饼图特有的配置项，例如圆心，半径顺时针方向显示数据等。现在我们展示出加入这两行代码的堆积折线图的效果，如下图所示。3.删掉tooltip中的trigger:'axis'配置。要在普通的折线图的代码中加入两句其他的代码。

2024-03-18 17:29:54 472

2301_77563994的博客