- 博客(19)
- 收藏
- 关注
RSS订阅原创 Spark--Spark SQL结构化数据文件处理知识总结(第五章)
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象结构叫做DataFrame的数据模型（即带有Schema信息的RDD），Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrames API和Datasets API三种方式实现对结构化数据的处理。Spark SQL可从各种结构化数据源中读取数据，进行数据分析。Spark SQL包含行业标准的JDBC和ODBC连接方式，因此它不局限于在Spark程序内使用SQL语句进行查询。
2024-05-13 16:43:44
1108
2
原创 Spark--Spark编程基础和编程进阶知识总结(第三章和第四章)
在RDD的执行过程中，真正的计算发生在行动操作中，在前面的所有转换，spark只是记录下转换操作应用的一些基础数据集和RDD生成轨迹，不会触发计算。一样的操作，为每一条输入返回一个迭代器（可迭代的数据类型），然后将所得到的不同级别的迭代器中的元素全部当成同级别的元素，返回一个元素级别全部相同的。RDD分布式对象集合，本质上是一个只读的分区记录集合，不能直接修改，通过转换得到新的RDD。是一个容错的、只读的、可进行并行操作的数据结构，是一个分布在集群各个节点中的存放元素的集合。
2024-05-13 15:28:27
1156
原创 应用实战：无人售货机零售项目ECharts展现
无人售货机是商业自动化的常用设备，它不受时间、地点的限制，能节省人力、方便交易。某公司部署的无人售货机，目前经营状况并不理想。为了挖掘经营状况不理想的具体原因，需要了解该公司后台管理系统数据的基本情况。1.2 分析无人售货机现状无人售货机产业正在走向信息化，并将进一步实现合理化。从无人售货机的发展趋势来看，无人售货机的出现是由劳动密集型的产业构造向技术密集型转变的产物。大量生产、大量消费以及消费模式和销售环境的变化，要求出现新的流通渠道；
2024-05-13 10:10:01
1329
1
原创 Spark--Scala基础知识总结(第二章)
Scala会区分不同类型的值，并且会基于使用值的方式确定最终结果的数据类型，这称为类型推断Scala使用类型推断可以确定混合使用数据类型时最终结果的数据类型如在加法中混用Int和Double类型时，Scala将确定最终结果为Double类型，如下图常量在程序运行过程中值不会发生变化的量为常量或值，常量通过val关键字定义，常量一旦定义就不可更改，即不能对常量进行重新计算或重新赋值。变量变量是在程序运行过程中值可能发生改变的量。变量使用关键字var定义。与常量不同的是，变量定义之后可以重新被赋值。
2024-05-10 22:47:55
1110
5
原创 ECharts异步数据加载
Echarts的数据一般是在初始化后setOption中直接填入的，但是很多时候可能数据需要异步加载后再填入。ECharts 中实现异步数据的更新非常简单，在图表初始化后不管任何时候只要使用等异步获取数据后通过 setOption 填入数据就行。
2024-04-24 17:18:51
239
原创 ECharts习题
绘制一个多表联动图主题是专升本目标院校报率比并采取echarts的事件和行为锁定目标院校的专业官网。要求：1.标题2.触发3.事件行为。
2024-04-22 10:12:13
258
原创 ECharts的常用图表
实训案例：案例1：会员基本信息及消费能力对比分析1.训练要求(1)掌握堆积柱状图的绘制。(2)掌握标准条形图的绘制。(3)掌握瀑布图的绘制。2．需求说明“会员信息表.xlsx ”文件记录了某鲜花店销售系统上的会员信息，具体包括会员编号、姓名、性别、年龄、年龄段、城市、入会方式、会员级别、会员人会日、 VIP 建立日、购买总金额、购买总次数信息。绘制堆积柱状图分析会员年龄分布，绘制标准条形图分析会员入会渠道，绘制瀑布图分析不同城市会员消费总金额分布。3．实现思路及步骤(1）
2024-03-18 11:30:41
290
原创 ECharts图表创建
'item''axis''none'坐标轴：跳转ECharts官网详细讲解：跳转ECharts官网详细讲解：'min''max''average'
2024-03-13 09:49:55
889
原创 认识Scala
(4)Scala在设计时，马丁·奥德斯基是参考了Java的设计思想，可以说Scala是源于Java，同时马丁·奥德斯基也加入了自己的思想，将函数式编程语言的特点融合到JAVA中，因此，对于学习过Java的同学,只要在学习Scala的过程中，搞清楚Scala和Java相同点和不同点，就可以快速的掌握Scala这门语言。(2)Scala源代码 (.scala) 会被编译成Java字节码 (.class)，然后运行于JVM之上，并可以调用现有的Java类库，实现两种语言的无缝对接。按钮进行安装，安装完成时单击“
2024-03-06 11:55:24
607
原创 认识Spark
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；
2024-03-06 11:18:19
698
原创 Visual Studio Code (VS Code)安装教程
Visual Studio Code（简称“VS Code”）是Microsoft在2015年4月30日Build开发者大会上正式宣布一个运行于 Mac OS X、Windows和 Linux 之上的，针对于编写现代Web和云应用的跨平台源代码编辑器，可在桌面上运行，并且可用于Windows，macOS和Linux。
2024-03-04 14:11:38
762
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人