qq_40068304的博客

Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。

Spark Streaming 支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。Spark Streaming 是 Spark Core 的扩展，它支持高吞吐量、可容错的实时数据流处理。在 Spark Streaming 中，数据被切分为一系列连续的批处理，每个批处理被当作一个 RDD。: 这是 Spark Streaming 的主要入口点，用于创建和配置流式计算。: 对每个RDD执行操作，通常用于将数据写入外部系统或进行复杂的批处理操作。

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。➢ 弹性⚫ 存储的弹性：内存与磁盘的自动切换⚫ 容错的弹性：数据丢失可以自动恢复⚫ 计算的弹性：计算出错重试机制⚫ 分片的弹性：可根据需要重新分片。➢ 分布式：数据存储在大数据集群不同节点上➢ 数据集：RDD 封装了计算逻辑，并不保存数据。

​ 观察者模式是一种行为型设计模式，它定义了对象之间的一对多依赖关系，使得当一个对象改变状态时，所有依赖于它的对象都会得到通知并自动更新。模板方法模式是一种行为设计模式，它定义了一个操作中的算法骨架，将一些步骤的实现延迟到子类中。这种模式的目的是通过在超类中定义一个算法的框架，允许子类在不改变算法结构的情况下重定义算法的某些步骤。**代码复用：**模板方法模式通过在抽象类中定义算法的骨架，使得所有子类可以共享相同的算法结构。

*控制访问：**代理模式可以控制对原始对象的访问，例如可以在访问对象之前或之后执行一些额外的操作，如权限检查、日志记录等。**扩展功能：**代理模式可以在不修改原始对象的基础上，通过代理类来扩展对象的功能。这意味着可以在不影响原有代码的情况下，为对象添加新的行为或特性。**智能化处理：**代理能够实现智能化处理，比如动态代理可以在运行时动态地生成代理对象，这为处理一些需要在运行时才能确定具体行为的情况提供了便利。

1.简单工厂模式2.工厂方法模式 3.抽象工厂模式单例模式是一种常用的软件设计模式，它确保一个类只有一个实例，并提供该实例的全局访问点。//操作步骤一:抽象工厂//操作步骤二:抽象产品A//操作步骤三:抽象产品B//操作步骤四:具体产品A1@Override//操作步骤四:具体产品A2@Override//操作步骤四:具体产品B1@Override//操作步骤四:具体产品B2@Override//操作步骤五:具体工厂1@Override@Override。

方法定义由一个def关键字开始，紧接着是可选的参数列表，一个冒号和方法的返回类型，一个等于号，最后是方法的主体。def functionName ([参数列表]) : [return type] = {//以下两个demo例子//1.以下方法的功能是将两个传入的参数相加并求和：return sum//2.如果方法没有返回值，可以返回为 Unit，这个类似于 Java 的 void, 实例如下：")

​ 1.有时候报错,可能是因为本机缺少相应的字体包,直接去字体网站 (https://cn.ffonts.net/)下载字体,放入本机的系统字体目录即可.

对input的值进行筛选，重命名等操作6.11.2.增加常量（Add constants)主要是添加常量到流中。

11.svn强制添加: svn add xxx --force。3.查看所有文件状态。5.提交或者添加文件。

注意:springboot内部是有Logback的包,但是本人使用的时候缺少部分类文件,因此单独映入了一次logback有三张表logging_event、logging_event_exception、logging_event_property,不需要自己创建,只需要在如下位置找到自己保存的库表生成sql复制运行即可.在上面的配置内容中，最重点的是配置 MySQL 数据库的连接信息和 ，并引用 `DBAppender如果只希望记录某个包（如 ）的错误日志信息到 MySQL 数据库，可以参考以下配置内

【代码】java.lang.ClassNotFoundException: org.jfree.text.TextUtilities。

查看项目中如果没有org.apache.xmlgraphics这个包,则引入如下依赖。

1.创建yum源文件2.添加下载配置文件（这里使用阿里云的源），保存退出3.更新yum4.安装mongodb5.查看mongodban6.修改配置bindIp: 172.0.0.1 改为（注意冒号与ip之间需要一个空格），保存退出7.启动服务。

2.解压启动(进入压缩包bin目录),本次演示的是macOS系统启动演示(windows系统启动命令:./start-hbase.cmd)5.1.maven依赖(本项目引用的Springboot版本是2.5.6)4.2.Hbase控制台常用命令总结如下。4.3.HBase表结构以及参数说明。4.HBase控制台操作。出现如下页面表示启动成功。一、HBase部署安装。5.5.封装的实体对象。5.4数据逻辑层代码。

5.1.执行以下命令，为 FTP 服务创建一个 Linux 用户，本文以 ftpuser 为例。5.3.执行以下命令，创建 FTP 服务使用的文件目录，本文以。5.2.执行以下命令，设置 ftpuser 用户的密码。2.执行以下命令，设置 vsftpd 开机自启动。5.8.执行以下命令，重启 FTP 服务。1.执行以下命令，安装 vsftpd。3.执行以下命令，启动 FTP 服务。4.执行以下命令，确认服务是否启动。5.4.执行以下命令，修改目录权限。5.6.执行以下命令，打开。5.7.修改以下配置参数。

【代码】java备份mysql数据库操作案例。

3.设置后台服务启动(9005是后台登录页面，9006是webapi接口端口，用于服务调用)accessKey与secretKey的值取自:后台管理平台(ip+9005后台平台地址)url:就是api接口url地址的nginx代理地址,你也可以直接填ip+9006。并创建data文件夹与在data下创建minio.log文件。# 自定义设置用户名(默认minioadmin)# 自定义设置密码(默认minioadmin)上传安装包文件到目录(这个可以自由选择)二、Springboot项目配置。

打开设置----->无线局域网----->点击你连接的WIFI网络------->配置IP---->