- 博客(15)
- 收藏
- 关注
RSS订阅原创 Spark总结
Spark是Apache软件基金会下的一个开源大数据处理框架，它最初由加州大学伯克利分校的AMPLab开发。Spark提供了一个快速、通用的大规模数据处理引擎，具有内存计算的优势，使得它能够比传统的基于磁盘的数据处理系统（如Hadoop MapReduce）快得多。内存计算：Spark的主要优势之一是它的内存计算能力。通过将数据加载到内存中，Spark能够减少磁盘I/O的延迟，从而显著提高处理速度。Spark还支持将数据缓存在内存中，以便在多个作业之间重复使用，进一步提高性能。统一编程模型。
2024-05-15 22:25:57
973
原创 应用实战：无人售货机零售项目Echarts展现
2）设置了类型为饼图类型，且圆形的center设置他的饼图的中心（圆心）坐标，数组的第一项是横坐标，第二项是纵坐标，和内圆心及设置为南丁格尔图然后文本标签（lable）设置为显示之后同上异步数据即可完成南丁格尔图。4）设置series设置图表标题位置的属性 内边距，设置标签的填充，对齐方式以及颜色，实则就是圆环和饼图的结合。2）center设置他的饼图的中心（圆心）坐标，数组的第一项是横坐标，第二项是纵坐标和显示触发显示等。1）设置了center即的中心（圆心）坐标，数组的第一项是横坐标，第二项是纵坐标。
2024-05-13 11:15:11
800
原创 Echarts词云图
词云，又称文字云，英文名：Word Cloud。是文本数据的视觉表示形式。就是对指定范围文本中出现频率较高的“关键词”予以视觉上的突出表现，从而过滤掉大量的文本信息，形成“关键词云层”或“关键词渲染”，使浏览网页者只要一眼扫过文本就可以领略文本的主题宗旨。
2024-04-08 11:40:10
2459
原创 ECharts雷达图
雷达图（Radar Chart）是一种用于显示数据多维性的图形。雷达图的不同轴代表了不同的数据维度，通常会将每个维度的数据用一个标记点表示出来，并把所有标记点之间用线段连接起来。这种图形能够很好地传达数据在不同维度上的分布情况，以及各个维度之间的关系。
2024-04-01 11:38:27
418
原创 Scala练习题
比如: Array(“hh”,“red”,“java”,“hadoop”)比如: Array(1,4,7,9,10,6,8,99,88,66)1、定义一个高阶函数，按照指定的规则对集合里面的每个元素进行操作。2、定义一个高阶函数，对数据中的元素按照指定的规则进行过滤。规则: 对集合中每个元素进行操作，得到集合每个元素的长度。比如:Array(10,4,6,10,2)3、对数据中的元素按照指定规则进行分组。4、根据指定规则对数组所有元素聚合。规则: 按照地址进行分组。规则: 只保留偶数数据。
2024-03-22 14:00:59
269
1
原创 了解柱状图和条形图
1.柱状图是一种常见的统计图表，用于展示不同类别或组之间的数量或频率的比较。它由一系列垂直的矩形条组成，每个矩形条的高度表示相应类别或组的数值大小。柱状图通常用于呈现离散数据，例如不同城市的人口数量、不同产品的销售量等。2.柱状图的特点是直观、易于理解和比较。它可以帮助我们快速分析数据的分布情况，找出数据中的规律和趋势。柱状图通常包括横轴和纵轴，横轴表示不同的类别或组，纵轴表示数量或频率。每个矩形条的宽度可以相同或不同，但高度代表的数值大小是不同的。
2024-03-12 15:23:43
941
1
原创 Spark和Scala环境安装与部署
vi slaves 修改内容为slave1 slave2(我的子机分别为是slave1 slave2。查看节点状态 在主节点master上出现Master 在s1上出现Worker在s2上出现Worker。将安装包导入虚拟机使用xshell或拖拽，这里建议导到opt目录下。查看spark是否安装成功 返回主目录下输入Spark-shell。这里 SPARK_HOME是spark的安装路径。图中SCALA_HOME是Scala的安装路径。查看是否安装成功，出现画线版本号即为成功。2.配置scala环境变量。
2024-03-11 19:55:48
1524
原创 大数据技术spark基础
（6）Executor：运行在Spark Worker 上的任务（Task）执行器，Executor启动线程池运行Task，并负责将数据存在内存或磁盘上，每个应用程序都会申请各自的Executor以处理任务。（7)SparkR:SparkR是 AMPLab发布的一个R语言开发包，使得R语言编写的程序不只可以在单机运行，也可以作为Spark的作业运行在集群上，极大地提升了R语言的数据处理能力。与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。
2024-03-06 11:37:16
911
原创 大数据技术入门Scala
4）Scala在设计时，马丁·奥德斯基是参考了Java的设计思想，可以说Scala是源于Java，同时马丁·奥德斯基也加入了自己的思想，将函数式编程语言的特点融合到JAVA中，因此，对于学习过Java的同学,只要在学习Scala的过程中，搞清楚Scala和Java相同点和不同点，就可以快速的掌握Scala这门语言。(多范式，就是多种编程方法的意思。2）Scala源代码 (.scala) 会被编译成Java字节码 (.class)，然后运行于JVM之上，并可以调用现有的Java类库，实现两种语言的无缝对接。
2024-03-06 11:14:26
818
原创 可视化应用与安装
2.分别创建js,css,image文件夹，创建echarts.js和echarts.min.js至js文件夹，另外创建一个NewFile.html文件。2.分别创建js,css,image文件夹，创建echarts.js和echarts.min.js至js文件夹，另外创建一个NewFile.html文件。此外，还需安装三个扩展，分别是“JavaScript”、“html”和“open”。220306098 大数据三班 吴雨。运行下载的安装程序即可。3.编写程序 运行代码。3.编写程序 运行代码。
2024-03-04 11:37:24
367
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人