子午谷-CSDN博客

原创 Spark SQL

Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。

2024-05-09 22:09:06 677 2

Spark Streaming 支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。Spark Streaming 是 Spark Core 的扩展，它支持高吞吐量、可容错的实时数据流处理。在 Spark Streaming 中，数据被切分为一系列连续的批处理，每个批处理被当作一个 RDD。: 这是 Spark Streaming 的主要入口点，用于创建和配置流式计算。: 对每个RDD执行操作，通常用于将数据写入外部系统或进行复杂的批处理操作。

2024-05-03 21:35:06 609 3

原创 Spark RDD

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。➢ 弹性⚫ 存储的弹性：内存与磁盘的自动切换⚫ 容错的弹性：数据丢失可以自动恢复⚫ 计算的弹性：计算出错重试机制⚫ 分片的弹性：可根据需要重新分片。➢ 分布式：数据存储在大数据集群不同节点上➢ 数据集：RDD 封装了计算逻辑，并不保存数据。

2024-05-03 21:33:39 1017 2

原创 23种设计模式之行为模式篇

观察者模式是一种行为型设计模式，它定义了对象之间的一对多依赖关系，使得当一个对象改变状态时，所有依赖于它的对象都会得到通知并自动更新。模板方法模式是一种行为设计模式，它定义了一个操作中的算法骨架，将一些步骤的实现延迟到子类中。这种模式的目的是通过在超类中定义一个算法的框架，允许子类在不改变算法结构的情况下重定义算法的某些步骤。**代码复用：**模板方法模式通过在抽象类中定义算法的骨架，使得所有子类可以共享相同的算法结构。

2024-04-20 01:04:38 491

原创 23种设计模式之结构型模式篇

*控制访问：**代理模式可以控制对原始对象的访问，例如可以在访问对象之前或之后执行一些额外的操作，如权限检查、日志记录等。**扩展功能：**代理模式可以在不修改原始对象的基础上，通过代理类来扩展对象的功能。这意味着可以在不影响原有代码的情况下，为对象添加新的行为或特性。**智能化处理：**代理能够实现智能化处理，比如动态代理可以在运行时动态地生成代理对象，这为处理一些需要在运行时才能确定具体行为的情况提供了便利。

2024-04-20 01:03:50 740

原创 23种设计模式之创建型模式篇

1.简单工厂模式2.工厂方法模式 3.抽象工厂模式单例模式是一种常用的软件设计模式，它确保一个类只有一个实例，并提供该实例的全局访问点。//操作步骤一:抽象工厂//操作步骤二:抽象产品A//操作步骤三:抽象产品B//操作步骤四:具体产品A1@Override//操作步骤四:具体产品A2@Override//操作步骤四:具体产品B1@Override//操作步骤四:具体产品B2@Override//操作步骤五:具体工厂1@Override@Override。

2024-04-20 00:57:52 1150

原创 Scala语言入门

方法定义由一个def关键字开始，紧接着是可选的参数列表，一个冒号和方法的返回类型，一个等于号，最后是方法的主体。def functionName ([参数列表]) : [return type] = {//以下两个demo例子//1.以下方法的功能是将两个传入的参数相加并求和：return sum//2.如果方法没有返回值，可以返回为 Unit，这个类似于 Java 的 void, 实例如下：")

2024-04-18 16:16:52 859

原创 PDF转word

1.有时候报错,可能是因为本机缺少相应的字体包,直接去字体网站 (https://cn.ffonts.net/)下载字体,放入本机的系统字体目录即可.

2024-02-28 16:16:51 565

原创 kettle入门教程

对input的值进行筛选，重命名等操作6.11.2.增加常量（Add constants)主要是添加常量到流中。

2023-11-29 18:15:51 471

原创 svn常用命令行

11.svn强制添加: svn add xxx --force。3.查看所有文件状态。5.提交或者添加文件。

2023-09-13 10:22:32 526

原创 springboot集成Logback 日志写入数据库

注意:springboot内部是有Logback的包,但是本人使用的时候缺少部分类文件,因此单独映入了一次logback有三张表logging_event、logging_event_exception、logging_event_property,不需要自己创建,只需要在如下位置找到自己保存的库表生成sql复制运行即可.在上面的配置内容中，最重点的是配置 MySQL 数据库的连接信息和，并引用 `DBAppender如果只希望记录某个包（如）的错误日志信息到 MySQL 数据库，可以参考以下配置内

2023-09-12 15:26:57 1012

原创 java.lang.ClassNotFoundException: org.jfree.text.TextUtilities

【代码】java.lang.ClassNotFoundException: org.jfree.text.TextUtilities。

2023-06-09 17:07:10 189

原创 java.lang.NoClassDefFoundError: org/apache/batik/dom/svg/SAXSVGDocumentFactory

查看项目中如果没有org.apache.xmlgraphics这个包,则引入如下依赖。

2023-06-09 16:18:36 353

原创 Springboot集成MongoDB案例

1.创建yum源文件2.添加下载配置文件（这里使用阿里云的源），保存退出3.更新yum4.安装mongodb5.查看mongodban6.修改配置bindIp: 172.0.0.1 改为（注意冒号与ip之间需要一个空格），保存退出7.启动服务。

2022-11-30 16:19:41 704 1

原创 Springboot集成HBase使用案例

2.解压启动(进入压缩包bin目录),本次演示的是macOS系统启动演示(windows系统启动命令:./start-hbase.cmd)5.1.maven依赖(本项目引用的Springboot版本是2.5.6)4.2.Hbase控制台常用命令总结如下。4.3.HBase表结构以及参数说明。4.HBase控制台操作。出现如下页面表示启动成功。一、HBase部署安装。5.5.封装的实体对象。5.4数据逻辑层代码。

2022-11-19 22:29:47 2866

原创 vsftp文件服务器的搭建与使用案例

5.1.执行以下命令，为 FTP 服务创建一个 Linux 用户，本文以 ftpuser 为例。5.3.执行以下命令，创建 FTP 服务使用的文件目录，本文以。5.2.执行以下命令，设置 ftpuser 用户的密码。2.执行以下命令，设置 vsftpd 开机自启动。5.8.执行以下命令，重启 FTP 服务。1.执行以下命令，安装 vsftpd。3.执行以下命令，启动 FTP 服务。4.执行以下命令，确认服务是否启动。5.4.执行以下命令，修改目录权限。5.6.执行以下命令，打开。5.7.修改以下配置参数。

2022-11-14 14:20:40 1595

原创 java备份mysql数据库操作案例

【代码】java备份mysql数据库操作案例。

2022-11-11 09:14:21 417

原创 minio使用案例(Springboot)

3.设置后台服务启动(9005是后台登录页面，9006是webapi接口端口，用于服务调用)accessKey与secretKey的值取自:后台管理平台(ip+9005后台平台地址)url:就是api接口url地址的nginx代理地址,你也可以直接填ip+9006。并创建data文件夹与在data下创建minio.log文件。# 自定义设置用户名(默认minioadmin)# 自定义设置密码(默认minioadmin)上传安装包文件到目录(这个可以自由选择)二、Springboot项目配置。

2022-09-06 20:54:06 3820

原创 Charles抓包使用案例

打开设置----->无线局域网----->点击你连接的WIFI网络------->配置IP---->

2022-07-27 22:37:12 182

原创 flowable流程引擎基础概念总结

ACT_RE_* : ’RE’表示repository（存储）。RepositoryService接口操作的表。带此前缀的表包含的是静态信息，如，流程定义，流程的资源（图片，规则等）。ACT_RU_* : ’RU’表示runtime。这是运行时的表存储着流程变量，用户任务，变量，职责（job）等运行时的数据。flowable只存储实例执行期间的运行时数据，当流程实例结束时，将删除这些记录。这就保证了这些运行时的表小且快。ACT_ID_* : ’ID’表示identity(组织机构)。这些表包含标识的信息，如

2022-07-03 22:12:38 1671

原创 ThingBoard四个核心模块

设备管理数据接入规则引擎部件面板系统管理员-----(分配)----------->租户--------(分配)--------->客户用户客户是一个抽象概念，也就是说客户用户才是真用户。观察下设备面板，有以下几部分构成：属性：基础信息，比较稳定(属性代表设备基本信息, 以key-value格式存在, 可以与IoT设备无缝兼容。)遥测：需要测量的状态信息(遥测也就是我们常说的设备测量状)警告：设备或者设备监控的状态出现问题事件：发生在设备上的事件关联：设备属于谁，在哪个资产上等等审计日志：谁在平台上对设备

2022-07-03 21:42:57 769

原创 Thingsboard初始化导入数据源

4.运行install_dev_db.sh如果报以下错误需要给一下目录授权

2022-06-28 14:39:51 951

原创 SpringBoot+SpringSecurity集成Swagger3与Knife4j

1.导入配置添加Swagger3依赖与knife4j依赖  <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-boot-starter</artifactId> <version>3.0.0</versi

2022-05-30 13:57:55 2282

原创后台运维常用命令汇总

1.指定端口启动jar包nohup java -jar -Xms128M -Xmx512M auth.jar --server.port=9202 &nohup:nohup的意思是忽略SIGHUP信号,关闭shell后，进程还是存在的。java：启动程序-jar：启动类型-Xms128M -Xmx512M：指定内存，Xms一般为最大内存的1/64,Xmx一般为最大内存的1/42.(Linux/Mac)查看端口是否被使用第一步：lsof -i:port （port被占用

2022-05-24 09:48:58 255

原创本地运行vue的dist文件

1、全局安装express-generator npm install express-generator -g2.项目初始化(这里把项目名设置为server)express -e server3.进入项目根目录cd server → npm i 安装依赖 → npm start 运行4.将dist中文件复制到server 中 public文件中5、浏览器输入http://localhost:3000查看项目...

2022-05-23 14:47:37 1525

原创 postgresql数据库timestamp类型字段模糊查询报错

select t.* ,b.jyrq,b.jyqd,b.xzbz,b.jyje,b.jdfx,b.ye,b.dfzh,b.dfhm from t_account_result t inner join t_notice n ON n.tzdbh = t.tzdbh INNER JOIN t_everyday_bank_bill b ON b.lsh = t.yhlsh where t.jzrq LIKE CONCAT('2022...

2022-05-12 11:41:45 1876

原创 MyBatis 流式查询

基本概念流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器，应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。如果没有流式查询，我们想要从数据库取 1000 万条记录而又没有足够的内存时，就不得不分页查询，而分页查询效率取决于表设计，如果设计的不好，就无法执行高效的分页查询。因此流式查询是一个数据库访问框架必须具备的功能。流式查询的过程当中，数据库连接是保持打开状态的，因此要注意的是：执行一个流式查询后，数据库访问框架就不负责关闭数据库连接了，需要应用在取完数

2022-05-04 23:33:01 560

原创 BigDecimal使用总结

一、BigDecimal概述二、BigDecimal常用构造函数三、BigDecimal常用方法详解四、BigDecimal格式化五、BigDecimal常见异常六、BigDecimal总结 BigDecimal小数比较一、BigDecimal概述Java在java.math包中提供的API类BigDecimal，用来对超过16位有效位的数进行精确的运算。双精度浮点型变量double可以处理16位有效数，但在实际应用中，可能需要..

2022-05-04 23:29:46 349

原创 Graphics2D画图

/** * @author ：jerry * @date ：Created in 2022/4/20 16:37 * @description：图片中写文字 * @version: V1.1 */import javax.imageio.ImageIO;import java.awt.*;import java.awt.image.BufferedImage;import java.io.File;import java.io.FileOutputStream;import j...

2022-04-23 23:08:02 1115

原创通过表结构生成数据库设计文档

技术实现:Screw+javaFX作用:通过引入screw核心包来实现Java 数据库文档,一键生成支持的数据库列表:MySQL 、MariaDB 、TIDB、 Oracle、 SqlServer、 PostgreSQL(注意:目前MariaDB 、TIDB、 Oracle因为缺少环境未做验证,若有问题,欢迎留言以做改正)效果图:下载地址:...

2022-04-12 22:03:05 1388 2

原创 Java下载文件（流的形式)

@GetMapping("/download") @ResponseBody public void download(HttpServletResponse response, String fileUrl) { try {// File file=new File(fileUrl); File file = resourceLoader.getResource("file:" + Paths.get(ROOT, fileU.

2022-04-06 17:36:49 4807

原创 SpringSecurity登录JSON传参

1.自定义相关过滤器继承UsernamePasswordAuthenticationFilter，只需要将这个过滤器替换掉即可。import cn.hutool.json.JSONUtil;import com.fasterxml.jackson.databind.ObjectMapper;import com.gla.common.lang.Result;import com.gla.entity.User;import com.gla.service.UserService;import

2022-03-22 21:05:24 922

原创 mybatis解决save不反回Id的问题

1.增加 useGeneratedKeys="true" keyProperty="id"这两个参数的配置 <insert id="save" useGeneratedKeys="true" keyProperty="id"> INSERT INTO sys_student (name,chinese,mathematics,english) VALUES (#{name},#{chinese},#{mathematics},

2022-03-17 18:54:00 1626

转载实用的shell 脚本案例

1Dos攻击防范（自动屏蔽攻击 IP）#!/bin/bashDATE=$(date +%d/%b/%Y:%H:%M)LOG_FILE=/usr/local/nginx/logs/demo2.access.logABNORMAL_IP=$(tail -n5000$LOG_FILE|grep$DATE|awk'{a[$1]++}END{for(i in a)if(a[i]>10)print i}')forIPin$ABNORMAL_IP;doif[ $(...

2022-03-10 17:10:44 200

原创 mybatis-plus操作mysql8的json类型数据报错,解决方案

Cause: com.mysql.cj.jdbc.exceptions.MysqlDataTruncation: Data truncation: Cannot create a JSON value from a string with CHARACTER SET 'binary'.; Data truncation: Cannot create a JSON value from a string with CHARACTER SET 'binary'.; nested exception is ..

2022-02-22 10:38:46 6301

Typora使用文档详细配置

空空如也