- 博客(14)
- 收藏
- 关注
RSS订阅原创 第五章：Spark SQL——结构化数据文件处理
综上所述，无论是通过filter()进行条件查询，还是通过mgroupBy()进行数据分组，抑或是通过sort()和orderBy()对特定字段进行排序，这些操作都是在数据处理中常见的步骤，而在不同的编程环境和语言中，这些功能的实现方式虽有所不同，但概念是一致的。在JavaScript中，由于缺乏某些内置方法，我们常常需要借助数组的其他方法或手动实现来完成这些操作。在数据库中，这些操作通常是通过专门的SQL语句来完成的。在使用这些技术时，理解它们的工作原理和适用场景是非常重要的。1.
2024-05-13 16:59:53
802
原创 第三章和第四章：spark编程基础和spark编程进阶
在IDEA中添加本地依赖并运行Java程序，涉及到对项目依赖关系的配置，以及使用IDEA的编译和运行功能。通过Maven或手动添加依赖，您可以方便地将本地库整合到项目中。而运行程序则需要您在IDEA中进行编译，并执行相应的运行命令。在整个过程中，IDEA提供了便捷的工具和选项，使得本地依赖的添加和程序的运行变得十分简单。通过上述方法，您应该能够成功地将第三方依赖添加到Spark项目中，并利用这些依赖扩展Spark的功能。无论是开发环境还是生产环境，选择合适的方法都可以让您轻松地使用第三方库来处理大数据数据。
2024-05-13 16:14:08
701
原创 应用实战：无人售货机零售项目ECharts展现（解析项目）
经过了一段学习Echarts，我们迎来了一个结课实训项目：无人售货机，话不多说，开肝。本实战项目所需的软件为：vose code。
2024-05-13 10:39:59
2364
4
原创 第二章：Scala基础
a:在网页上运行Scala1.通过浏览器查找Scastie并进入，即可进入Scala在线运行环境。2.进入Scastie界面后，在上窗格中输入“println。3.单击“Run”按钮，输出信息将显示在下窗格中，如下图。Scala环境设置1：Scala运行环境众多，可以运行在WindowsLinuxmacOS等系统上。Scala是运行在JVM上的语言，因此必须确保系统环境中安装了JDK，即Java开发工具包，而且必须确保JDK。
2024-05-12 17:30:15
1120
2
原创 spark综测
/读取文件：使用 sc.textFile("file:///C:/Users/用户名/Desktop/text02.txt")读取本地文件系统中的"text02.txt"文件，将内容加载为一个RDD（弹性分布式数据集）。//读取文件：使用 sc.textFile("file:///C:/Users/用户名/Desktop/text01.txt")读取本地文件系统中的"text01.txt"文件，加载为RDD。//main方法：在 main方法中创建了新的SparkContext。
2024-04-11 20:07:02
976
1
原创 实训四以及课堂作业
首先radar.html文件中引入echarts.js库文件。其次，准备一个 具备大小(weight与height)的div容器， 并使用init)方法初始化容器。最后设置雷达图的 配置项、3个销售代表5 个方面的考核评分数据完成雷达图绘制。“销售经理能力考核表。xlsx” 文件中记录某公司销售能力的考核信息， 包含3个销售代表的销售、沟通、服务、 协作和培训这5个方面的考核评分， 通过绘制雷达图综合 展现3个销售代表各方面能力对比。(1)在VSCode中创建radar.html文件。
2024-04-02 22:17:07
530
1
原创 spark
比如: Array(“hh”,“red”,“java”,“hadoop”)比如: Array(1,4,7,9,10,6,8,99,88,66)定义一个高阶函数，按照指定的规则对集合里面的每个元素进行操作。2、定义一个高阶函数，对数据中的元素按照指定的规则进行过滤。规则: 对集合中每个元素进行操作，得到集合每个元素的长度。比如:Array(10,4,6,10,2)3、对数据中的元素按照指定规则进行分组。4、根据指定规则对数组所有元素聚合。规则: 按照地址进行分组。规则: 只保留偶数数据。
2024-03-27 07:57:34
132
1
原创 作业1：绘制折线图 条形图 必须包含四个值需要包含 标题 最大值最小值 平均值 x y（对比） 动态触发
```echarts{ "title": { "text": "示例数据分析" }, "xAxis": { "data": ["A", "B", "C", "D"] }, "yAxis": { "type": "value" }, "tooltip": { "trigger": "axis" }, "series": [ { "name": "折线图", "type": "line", "dat
2024-03-13 13:00:33
231
原创 Spark概述及Scala搭建操作步骤
现在Apache Spark已经形成一个丰富的生态圈，包括官方和第三方开发的组件或工具。Spark生态圈也称为伯克利数据分析栈，由AMPLab打造，是致力于在算法，机器，人之间通过大规模集成展现大数据应用的平台。1.Spark Core：spark的核心，提供底层框架及核心支持。2.BlinkDB:一个用于在海量数据上进行交互式SQL查询的大规模并进行查询引擎，允许用户通过权衡数据精度缩短查询响应时间，数据的精度将被控制在允许的误差范围内。
2024-03-07 15:10:11
857
原创 Visual Studio Code (VS Code)安装教程
是一个由微软开发，同时支持 Windows 、 Linux 和 macOS 等操作系统且开放源代码的代码编辑器，它支持测试，并内置了Git 版本控制功能，同时也具有开发环境功能，例如代码补全、代码片段和代码重构等。
2024-03-04 13:22:47
1605
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人