- 博客(14)
- 收藏
- 关注
RSS订阅原创 spark方法
Spark是一个开源的、大规模的、快速的数据处理引擎，专为大规模数据处理而设计。它提供了一个统一的编程模型来处理批处理、交互式查询、实时流处理和图计算等多种类型的数据处理任务。Scala源自Java，构建在JVM之上，与Java兼容、互通。Scala的优势：1.多范式编程：(1)面向对象编程：每个值都是对象；对象的数据类型和行为由类(Class)和特征(Trait，类似于interface)描述；利用特征实现混入式多重继承。(2)函数式编程:每个函数都是一个值；
2024-05-16 19:42:57
865
1
原创 无人售货机项目分析
（Bubble Chart）是一种多变量的图片，是散点图的一种变体，气泡图其实是在散点图的基础上进行升级改造的，在原有的以横纵坐标为变量的基础上，引入第三个变量，用气泡的大小来表示，是一种展示三个变量之间关系的数据图表，因此被称为气泡图。对比饼图，环形图能够比较方便的对比各个不同的环形图，而不是将注意力关注在饼图的各个扇形所占整体比重上，一般来说饼图很难进行多个饼图直接的对比，而且饼图的空间利用率不如环形图，环形图内部空心部分可以显示文本信息，标题等。饼图适用于二维数据，一个是分类字段，一个连续数据字段。
2024-05-13 10:41:39
599
原创 爱心词云图
1.下载图片首先要找到一张图片，为了成功率较高，随意对图片也是有要求的，图片一定要是矢量图，并且最好为黑色填充，当然其他颜色也行；给大家推荐一个可以获取图片的网站，阿里iconfont图标库；选择png格式2.转化图片为base64我们不能直接使用图片，需要把图片转成base64，这里给大家推荐一个免费转换的网址base64图片在线转换工具 - 站长工具3.修改配置项想变成其他图形样子，就按照上面的步骤来，然后把64位编码复制到image后就行了。
2024-04-08 10:34:13
257
2
原创 scala函数练习
1、定义一个高阶函数，按照指定的规则对集合里面的每个元素进行操作，比如: Array(“hh”,“red”,“java”,“hadoop”)规则: 对集合中每个元素进行操作，得到集合每个元素的长度object a { def main(args: Array[String]): Unit = { val arr1 = Array("hh", "red", "java", "hadoop") for(i <- arr1){ println(i,i.length)
2024-03-24 17:53:16
209
1
原创 在idea里面搭建Scala环境
下载 IntelliJ IDEA – 领先的 Java 和 Kotlin IDE (jetbrains.com.cn)3，将创建的项目设为源文件（创建项目都要进行这个操作）1，双击IDEA安装包，进入安装界面。2，在idea里面安装刚刚下的插件。5，在创建的类中编写Scala程序。1，先去官网下载Scala插件。进入下面这个页面就安装成功。4，创建Scala类。
2024-03-15 18:04:12
572
1
原创 spark和Scala的环境配置与安装 从入门到入土
使用source /etc/profile使环境生效，然后再用scala -version查看安装成功没，出现2.12.12即为成功。解压spark安装包 tar -zxvf /opt/spark-3.1.1-bin-hadoop3.2.tgz -C /opt/解压安装包 tar -zxvf /opt/scala-2.12.12.tgz -C /opt/查看spark是否安装成功 返回主目录下输入spark-submit --version。修改网关连接xshell。改个名字方便后面好操作。
2024-03-08 16:41:28
499
2
原创 入门spark和Scala
一，spark的介绍Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；
2024-03-06 15:33:11
865
原创 如何安装vsiual studio code和eclipse与创建
第二步：点击下载 选择visual studio code下载Windows x64 用户安装程序。第四步：改中文显示，先点扩展，然后搜索Chinese下载第一个安装然后重新启动软件。把echarts.js echarts.min.js这两个文件拖进js。在新建的文件下面建立css image js文件夹。第一步：先搜索vsiual studio的官网。第七步：在工作区下新建css文件夹和js文件夹。第六步：点击文件，创建工作区。第八步：将js文件拖进vis。第五步：在扩展下载open。
2024-03-04 18:45:03
489
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人