- 博客(15)
- 收藏
- 关注
RSS订阅原创 Spark SQL结构化数据文件处理知识总结
SQLSpark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象结构叫做DataFrame的数据模型（即带有Schema信息的RDD），Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrames API和Datasets API三种方式实现对结构化数据的处理。Spark SQL可从各种结构化数据源中读取数据，进行数据分析。Spark SQL包含行业标准的JDBC和ODBC连接方式，因此它不局限于在Spark程序内使用SQL语句进行查询。
2024-05-15 22:23:43
1032
原创 词云图echarts
词云图是一种可视化工具，用于展示文本数据中词语的频率或重要性。它通过将文本中的词语按照出现的频率或重要性进行排列，并以不同大小、颜色或字体来表示词语的重要程度。常见的词云图生成方法有两种：基于词频的词云图和基于TF-IDF的词云图。基于词频的词云图是根据词语在文本中出现的频率来确定词语的大小，频率越高的词语在词云图中显示得越大。这种方法适用于展示文本中的热门关键词或主题。基于TF-IDF的词云图则考虑了词语在整个文本集合中的重要性。
2024-04-09 16:47:03
665
原创 【Echarts】绘制雷达图、浏览以及多雷达图
雷达图，也称为蜘蛛网图或星形图，是一种用于可视化多个变量之间关系的图表。它以一个中心点为起点，从中心向外辐射出多条轴线，每条轴线代表一个变量。在每条轴线上，通过不同的数据点或者连线来表示不同变量的取值或者关系。雷达图常用于比较不同实体在多个维度上的表现，例如产品的特征对比、团队成员的能力评估等。通过雷达图，我们可以直观地看到各个变量之间的相对差异和关系。通过雷达图，我们可以直观地比较不同实体在各个维度上的表现，并且可以发现各个维度之间。
2024-04-01 11:47:28
1360
原创 Echarts散点图
散点图是一种用于展示两个变量之间关系的图表。它通过在坐标系中绘制数据点来表示变量之间的关联程度。每个数据点都由一个独立的观测值表示，其中横轴表示一个变量，纵轴表示另一个变量。散点图可以帮助我们观察和分析变量之间的趋势、相关性以及异常值。
2024-03-27 16:27:14
609
原创 Scala练习题
规则: 对集合中每个元素进行操作，得到集合每个元素的长度1、定义一个高阶函数，按照指定的规则对集合里面的每个元素进行操作。比如: Array(“hh”,“red”,“java”,“hadoop”)比如: Array(“hh”,“red”,“java”,“hadoop”)比如: Array(1,4,7,9,10,6,8,99,88,66)1、定义一个高阶函数，按照指定的规则对集合里面的每个元素进行操作。规则: 对集合中每个元素进行操作，得到集合每个元素的长度。比如:Array(10,4,6,10,2)
2024-03-21 20:10:14
244
原创 IntelliJ IDEA安装scala
在安装scala插件之前，要先在windows下安装scala，如果没有安装scala的话，可以参考这篇博客：windows下scala的安装教程。6.找到src——>xlt（刚创建包的名称，这里的包就相当于windows下的文件夹）——>scala Class 创建scala类。1.现在我们来新建一个scala项目，点击file——>new——>project。1.打开idea，在左上角找到File（工具），然后在找到setting。会跳出这样一个界面，找到自己安装scala的版本，点击ok即可。
2024-03-14 20:02:49
487
原创 crush突然朝我爆金币竟是为了....
条形图和柱状图表达数据的形式差不多，但x轴和y轴显示方式相反，所以条形图只需将其对调。要显示数据的分布特征，或要表示同一件事物在不同期间的变化情况，就要选择柱形图。它用条形长短来观察各种信息的大小，比较各种数值或比例。柱状图最常见，它利用柱子高度，反映数据的差异。横轴代表比较的类别，纵轴代表类别对应的刻度值。条形图其实是柱形图的旋转图表，又称横向柱形图。步骤五：将配置项设置给echarts实例对象。8.设置柱状图的文字和大小的显示。使用刚指定的配置项和数据显示图表。步骤二：准备一个呈现图表的盒子。
2024-03-12 15:34:13
661
原创 小白跪求要看的Scala 看不看思密达
Scala是一门多范式的编程语言，一种类似Java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。目前最主流的大数据开发框架Spark的实现就是通过Scala去实现的。Scala可以与Java互操作。它用scalac这个编译器把源文件编译成Java的class文件（即在JVM上运行的字节码），也可以从Scala中调用所有的Java类库，也同样可以从Java应用程序中调用Scala的代码。
2024-03-06 23:06:06
503
原创 邦邦写这么好的spark你不看？damn！
spark官网地址：https://spark.apache.org/Spark 是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。Hadoop 之父 Doug Cutting 指出：Use of MapReduce engine for Big Data projects will decline, replaced by Apache Spark (大数据项目的 MapReduce 引擎的使用将下降，由 Apache Spark 取代)。与Hadoop的MapReduce
2024-03-06 22:13:15
483
1
原创 vscode的安装流程及用eclipse和vscode两者的区别
2.新建文件js，并把echarts.js和echarts.min.js拖入VSCode中js里面。4.将echarts.js和echarts.min.js拖入eclipse中js里。3.建立HTML，点击new，进入other，找到Web,点击HTML File。保存 再运行(open with------WebBrowser)4.在“扩展”里搜索Open in browser并安装。2.安装完成后，点击“我同意此协议”，再点击“下一步”3.在“扩展”里搜索HTML Snippets并安装。
2024-03-04 14:36:05
689
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人