热心市民小李同学-CSDN博客

原创【如何在私有云搭建的虚拟机上配置Spark Standalone集群】

提示：本文仅适用于本人作业和部分新手所使用，如果本文有不适之处，敬请改正，感谢。文章目录一、搭建集群（一）私有云上创建三台虚拟机（二）利用SecureCRT软件分别登录三台虚拟机1、登录master虚拟机2、登录slave1虚拟机3、登录slave2虚拟机（三）查看三台虚拟机主机名（四）配置三台虚拟机IP-主机名映射1、配置master虚拟机IP-主机名映射2、配置slave1虚拟机IP-主机名映射3、配置slave2虚拟机IP-主机名映射（五）关闭与禁用防火墙1、关闭与禁用master虚拟机的防火墙.

2022-03-22 20:27:31 2912

原创【如何在OpenStack创建的私有云上搭建和配置虚拟机】

提示：本文仅适用于本人课后作业所使用，如果本文有不对之处，希望大佬们能帮忙指出一下，感谢。文章目录前言一、OpenStack介绍1. OpenStack是什么？*2. OpenStack的基本框架▼*二、如何在OpenStack搭建的私有云上面创建和配置虚拟机1.先使用学校注册好的账号进入1.引入库2.读入数据总结前言提示：以下是本篇是平台介绍内容，部分内容引用于网络一、OpenStack介绍1. OpenStack是什么？OpenStack 是一个旨在为公共及私有云的建设与管理提供软

2022-02-27 21:25:30 2610 2

原创【瑞吉外卖的搭建】

启动Navicat，创建mysql连接。

2022-12-18 23:40:08 1327

原创【微信小程序——云音乐播放器】

swiper常用属性：可选值说明默认Boolean是否显示面板指示点，默认为falseColor指示点颜色，默认为rgba(0,0,0,.3)Color当前选中的指示点颜色，默认为#000000autoplayBoolean是否自动切换，默认为falsecurrentNumber当前所在滑块的index，默认为0String当前所在滑块的item-id（不能同时指定current）intervalNumber自动切换时间间隔（毫秒），默认为5000。

2022-12-12 18:55:45 678 1

原创【微信小程序——计算器】

微信小程序是一种不需要下载安装即可使用的应用，它实现了应用“触手可及”的梦想，用户扫一扫或者搜一下即可打开应用。也体现了“用完即走”的理念，用户不用关心是否安装太多应用的问题。应用将无处不在，随时可用，但又无需安装卸载。对于开发者而言，微信小程序开发门槛相对较低，难度不及APP，能够满足简单的基础应用，适合生活服务类线下商铺以及非刚需低频应用的转换。微信小程序能够实现消息通知、线下扫码、公众号关联等七大功能。其中，通过公众号关联，用户可以实现公众号与微信小程序之间相互跳转。

2022-10-27 16:16:25 861

原创【Spring Boot + ECharts 案例】

执行上述命令2、创建数据表创建表结构 - t_class执行上述命令插入表记录执行上述语句查看班级表记录利用Spring Initializr创建Spring Boot项目 - 输入项目相关内容添加依赖设置项目名称与保存位置单击【Finish】按钮（四）创建班级映射器接口在包里创建子包，在子包里创建接口（五）创建班级映射器配置文件在里创建目录，在里面创建（六）创建班级服务类在包里创建子包，在子包里创建类（七）创建班级控制器在包

2022-06-23 09:11:37 797

原创【利用SSM框架实现用户登录功能】

执行命令：查看创建的数据库执行SQL命令生成用户表3、用户表添加记录执行SQL命令添加4条记录（二）创建Maven项目创建Maven项目 - 设置项目命令、项目位置、组ID和项目ID这里添加完依赖后，可能会出现如图情况打开Maven窗口，单击刷新按钮，下载依赖依赖下载成功（五）创建数据库配置属性文件在目录里创建说明：jdbc.url有时可能还需设置编码和时区，数据库密码要改成自己电脑数据库密码（六）给项目添加Web功能打开项目结构窗口，

2022-06-21 18:18:54 1667

原创【创建RDD】

在目录里创建单词用空格分隔将上传到HDFS的目录里查看文件内容可以参考《sc.textFile()默认读取本地系统文件还是HDFS系统文件？》如果以方式启动spark-shell，只能读取HDFS系统上的文件，不能读取本地系统文件，而以方式启动spark-shell，既可以读取本地系统文件，加不加都可以，还可以访问HDFS系统上的文件，但是必须加上。执行命令：查看Spark Shell的WebUI界面, 执行命令：执行命令：，收集rdd数据进行显示其实，行动算子[action operat

2022-06-20 13:59:59 441

原创【Spark SQL案例分析】

创建Maven项目 - （四）修改源目录名称将源目录名由改成在文件里，设置源目录添加

2022-06-19 21:20:21 117

原创【Spark Streaming概述】

创建Maven项目 - 基于生成项目填写项目相关内容将目录改成目录4、创建日志属性文件在目录里创建文件5、创建流式词频统计单例对象创建包在包里创建单例对象6、在master虚拟机上启动nc执行命令：等待用户输入一行又一行的数据启动流式词频统计单例对象，然后在master虚拟机上输入一行又一行的数据先启动程序回到虚拟机，输入数据因为强行停止程序，所以退出码是可以看到，每隔3秒，对分段流中的RDD进行词频统计……......

2022-06-19 18:12:12 173

原创【Spark Streaming数据源】

在HDFS上创建监测目录待会儿需要将目录里的与文件拷到监测目录基于创建Maven项目 - 填写项目相关内容将目录改成目录创建日志属性文件 - 添加相关依赖和构建插件创建包在包里创建单例对象启动程序之后，将HDFS目录里的和文件拷贝到目录过一会儿，停止程序，查看控制台输出信息先对文件进行了词频统计，再对文件进行了词频统计注意：第一个文件词频统计结果默认显示前10条，第二个文件词频统计结果只有9条删除目录里的文件修改，不用通用文件流，而用文本文件流启动程序后，将HD

2022-06-19 16:30:57 86

原创【DataFrame与Dataset】

2、Spark SQL以相同方式连接多种数据源Spark SQL提供了访问各种数据源的通用方法，数据源包括、、、、、等。读取HDFS中的JSON文件，基于文件内容创建临时视图，最后与其他表根据指定的字段关联查询3、在现有数据仓库上运行SQL或HiveQL查询Spark SQL支持语法以及和（用户自定义函数），允许访问现有的Hive仓库。二、数据帧 - DataFrame（一）DataFrame概述DataFrame是Spark SQL提供的一个编程抽象，与RDD类似，也是一个分布式

2022-06-19 00:29:51 285

原创【Spark RDD案例：统计每日新增用户】

2022-01-01mikealicebrown2022-01-02mikealicegreen2022-01-03alicesmithbrian现需要根据上述数据统计每日新增的用户数量，期望统计结果：即2022-01-01新增了3个用户（分别为mike、alice、brown），2022-01-02新增了1个用户（green），2022-01-03新增了两个用户（分别为smith、brian）。二、实现思路使用倒排索引法，若将用户名看作关键词，访问日期

2022-06-18 22:57:33 125

原创【Spark SQL案例：分组排行榜】

同一个学生有多门成绩，现需要计算每个学生分数最高的前3个成绩，期望输出结果如下所示：数据表执行查询预备工作：启动集群的HDFS与Spark将成绩文件 - 上传到HDFS上目录设置项目信息（项目名、保存位置、组编号、项目编号）单击【Finish】按钮将目录改成目录...

2022-06-18 08:56:32 109

原创 Spark RDD:分组排行榜

@同一个同学有多门成绩，现在需要计算每个学生的分数最高的前三个成绩，期望输出结果如下所示：实现思路：使用Spark RDD的算子可以对(key, value)形式的RDD按照key进行分组，key相同的元素的value将聚合到一起，形成(key, value-list)，将value-list中的元素降序排列取前N个即可。二、完成任务预备工作：启动集群的HDFS与Spark将成绩文件 - 上传到HDFS上目录（一）、新建Maven项目设置项目信息（项目名、保存位置、组编号

2022-06-17 22:47:46 632 1

原创【spark RDD词频统计】

单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。在IntelliJ IDEA中新建Maven管理的Spark项目，并在该项目中使用Scala语言编写Spark的WordCount程序，最后将项目打包提交到Spark集群（Standalone模式）中运行。预备工作：启动集群的HDFS与SparkHDFS上的单词文件 - 新建Maven项目，基于JDK1.8设置项目信息（项目名称、保存位置、组编号以及项目编号）...

2022-06-17 20:31:50 744

原创【Spark 计算成绩平均分】

spark成绩表 - django成绩表 - 在集群上打开与在hdfs创建文件夹在虚拟机上面创建三个成绩文件设置项目信息（项目名、保存位置、组编号、项目编号）单击【Finish】按钮将java目录改成scala目录（三）创建日志属性文件在资源文件夹里创建日志属性文件 - （四）创建计算平均分单例对象将目录改成目录在包里创建单例对象（五）本地运行程序，查看结果在控制台查看输出结果......

2022-06-17 11:40:41 697

原创【Scala内建控制结构】

（二）执行情况条件为真，结果是值1；条件为假，结果是值2。如果if和else的返回结果同为某种类型，那么条件表达式结果也是那种类型，否则就是类型（三）案例演示任务1、根据输入值的不同进行判断当然也可以在一个表达式中进行多次判断可以将上述条件表达式改造成嵌套的选择结构，可读性倒是提高了，但是简洁性降低了运行程序，查看结果利用结构具有返回值的特性，改写程序运行程序，查看结果块表达式为包含在符号“{}”中的语句块（二）执行情况需要注意的是，Scala中的返回值是最后一条语句

2022-06-17 00:38:45 307

原创【scala运算符】

与是等价的2、多参方法与是等价的Scala和Java运算符基本相同，不同之处在于比较运算符。Java中，如果是基本数据类型，==与!= 比较的是值；如果是复杂数据类型，比较的是对象的地址，如果不是想比较地址而是想比较真正的内容，则需要使用 equals 方法。Scala中，如果是基本数据类型，==与!= 比较的是值；如果是复杂数据类型，会隐含地调用equals进行比较，这也就意味着 Scala中不存在Java中经典的equals问题。运算符在唯一的操作数之前：1、3、 0xFF、

2022-06-16 21:34:58 92

原创【Scala变量与数据类型】

声明一个字符串变量，其实定义的是一个常量上述代码中的第二行为执行第一行的输出信息，从输出信息中可以看出，该变量在Scala中的类型是。当然也可以在声明变量时指定数据类型，与Java不同的是，数据类型需要放到变量名的后面，这使得面对复杂的数据类型时更易阅读。由于声明的变量是不可修改的，若对声明的变量进行修改，则会报错因此，如果希望变量可以被修改（can be mutated），就需要使用声明。声明一个字符串变量，然后利用print函数输出其值对var变量message重新复制，再输出其值如果需要换行

2022-06-16 18:57:31 121

LZB_XM的博客