qq_39656852的博客

原创 python-JSON

python数据和JSON数据的相互转换，ensure_ascii = False参数可以确保中文正常转换。

原创 python-包

原创 python-文件操作

原创 python-匿名函数

数字、字符串、字典、列表、元组等都可以作为函数的参数进行传入，其实，函数本身也可以作为参数传入另一个函数内。lambda 传入参数：函数体（一行代码）

原创 python-函数的多种参数形式

原创 字符串大小比较

原创 python中的数据类型、标识符、运算符

标识符定义：用户在编程的时候所使用的一系列名字，用于给变量、类、方法等命名。name = "这是一个字符串"使用type()获取数据的类型。标识符命名规则：1.内容限定（

原创 DiT: Self-supervised Pre-training for Document Image Transformer论文阅读笔记

DiT，一种用于通用文档 AI 任务的文档图像的 Transformer 模型，该模型不依赖于任何人工标记的文档图像。创新点：①.本身的在自然场景的图片上训练得到的DALL-E tokenizer不适用于文本，因此在文档图片数据集上重新训练了DALL-E tokenizer，使其更适合针对文档图片获取到对应的Tokens②.设计MIM预训练目标，让模型根据上下文预测出被[MASK]掉的图像块（注意是图像块，而不是像素）

原创 CLIP论文阅读笔记

对通过文本编码器编码的特征与图像编码器编码的特征进行宇轩。

原创 DeBERTa论文阅读笔记

DeBerta与BERT不同，主要创新点：（1）Disentangled attention（解开的注意力）（2）Enhanced mask decoder（增强掩码解码器）

原创 python dataclass

数据类是Python3.7 开始引入的一个新功能, 数据类提供了开箱即用的方法来创建自定义数据, 可以直接实例化、打印和比较数据类实例.

原创 from typing import Optional

typing 是python3.5中开始新增的专用于类型注解(type hints)的模块，为提供静态类型检查。

原创 load_dataset方法使用(HuggingFace的datasets库)

一些情况下加载数据集的逻辑较为复杂，需要自定义加载方式。如下所示，我们数据处理需要是，每条数据包括两张图片，一个文本。step1: 首先我们先创建一个json文件，把图片和文本对应起来，json文件的格式如下所示step2：创建一个python脚本fill50k.py根据json文件中的对应关系加载图片，python脚本如下所示，这个脚本中定义一个 Fill50k类，并继承，在类中重写。

原创 Java反射机制在Spring Boot中的应用场景

Java反射机制在Spring Boot框架中的应用非常广泛，以下是一些常见的应用场景：

原创 统一网关Gateway——路由断言、路由过滤器GatewayFilter

这里@RequestHeader是获取请求头中的参数。

原创 统一网关Gateway

原创 http客户端Feign

原创 java——阿里云对象存储OSS

阿里云对象存储OSS（Object Storage Service）,是一款海量、安全、低成本、高可靠的云存储服务，使用OSS，可以通过网络。

原创 Elasticsearch笔记

9300端口为Elasticsearch集群间组件的通信端口，9200端口为浏览器访问的http协议RESTful端口。es是基于java开发的，所以其内置了java的环境，但是我们一般情况会用我们自己的java环境。ElasticSearch作用：存储、搜索数据、分布式的全文搜索引擎。数据采集、数据存储与分析、存储与展示。

原创 elasticsearch

es的索引库相当于mysql的表，es的文档相当于一条数据。

原创 Nacos配置管理

一.统一配置管理二.实现配置的热更新三.多环境共享

原创 Nacos注册中心、Nacos服务分级存储模型

第一级是服务，然后再是集群，集群下边是实例。

原创 Ribbon负载均衡

默认IRule使用的负载均衡策略为ZoneAvoidanceRule,但是我们也可以人为的配置：

原创 SpringCloud之Eureka注册中心及实战

Eureka注册中心实战：1.引入Eureka依赖 2.在引导类添加@EnableEurekaServer 注解开关3.编写配置文件 1.引入Eureka客户端依赖 2.在user-service的配置文件中，将user-service注册到Eureka服务器中3.注册成功后效果一个服务注册多次形成注册列表 操作：效果：可以看到user-service注册了两次

原创 SpringCloud服务的拆分及远程调用

restTemplate.getObject(url,User.class)中第一个参数是要请求的url路径，第二个参数是要把请求返回的json格式转换为什么格式的数据，这里转换为User格式的数据。，其实就是发送Http的请求，微服务之间要实现Http请求，Spring为我们提供了RestTemplate。

原创 SpringBoot和SpringCloud兼容关系

原创 SpringCloud、Dubbo、SpringCloudAlibaba对比

原创 单体架构、分布式架构和微服务架构

单体架构：分布式架构：微服务架构：

原创 微服务技术栈

当业务越来越多，越来越复杂的时候，这些服务之间的调用关系就会越来越复杂，这么复杂的业务关系想靠人去记录和维护是不可能的，所以在微服务里，就会有一个组件，叫做。然后服务会去操作对应的数据库，这里画的是一个数据库，但是数据库一般是集群，虽然数据库是集群，但是集群再庞大，肯定没有用户多吧，用户会发送大量的请求，，为了抗住请求高并发，就需要有分布式缓存（将数据库数据放入到内存当中，内存的查询效率比数据库要高很多）当然，我们如此庞大的复杂业务服务，在运行的过程中，如果出现什么问题了，需要排查，因此我们还需要引入①。

原创 Nougat: Neural Optical Understanding for Academic Documents论文笔记

如果两个分割点在源文本中的相同位置，则认为页面中断是“准确的”，得分为1。据我们所知，没有 PDF 页面的成对数据集和相应的源代码，因此我们从 arXiv.4 上的开放访问文章中创建了我们自己的布局多样性，我们还包括 PubMed Central 5 (PMC) 开放访问非商业数据集的子集。具有相关目标的开源解决方案包括 GROBID [4]，它将数字出生的科学文档解析为 XML，重点关注书目数据和 pdf2htmlEX [25]，它将数字出生的 PDF 转换为 HTML，同时保留文档的布局和外观。

原创 JVM总结

第一个段代码之所以s和"ab"相等，是因为在s还没放进串池之前，串池里边没有"ab"，于是在执行s.intern()之后，会将s直接放入串池，成为串池中的对象；第二段代码之所以s和“ab“不相等，是因为在s还没有放入串池之前，串池中就已经有了"ab"这个串池对象，所以在执行s.intern()的时候，不会将s放入串池，所以s存在于堆中，自然s与"ab"不相等。看一个变量是否线程安全，我妈就要看多个线程对这个变量是共享的还是这个变量是对每个线程是私有的，栈中局部变量是线程私有的，所以是线程安全的；

原创 JAVA中的NIO

NIO :Non-blocking IO,在Java领域，也称为New I/O,是一种同步非阻塞的I/O模式，也是I/O多路复用的基础，已经被越来越多的应用到大型应用服务器，成为解决高并发与大量连接、I/O处理问题的有效方式。NIO与IO的区别。

原创 mysql各种锁详解

MySQL的锁定主要分为全局锁、表锁、行锁。

原创 MySQL执行流程

执行过程：首先通过连接器进行客户端与MySQL服务器的连接，这个过程会进行用户校验和权限验证；验证通过以后，分析器会对sql语句进行语法分析，得到mysql可以理解的语法，随后进入优化器，优化器会对sql语句进行适当的优化（优化器的主要作用是在表中有多个索引的时候，决定用哪个索引；或者在一个语句有多表关联(join)的时候，决定各表的连接顺序。接下来就是执行器通过引擎接口与存储引擎进行交互，然后将执行结果返回给客户端。MySQL是分层执行的，主要分为两个层次，Server层和储存引擎层。

原创 Redis哨兵模式

原创 Redis主从复制

配合读写分离，可以由主节点提供写服务，由从节点提供读服务，分担服务器负担；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。1、从结构上，单个Redis服务器会发生单点故障，并且一台服务器需要处理所有的请求负载，压力较大；2.从容量上，单个Redis服务器内存容量有限，单台Redis最大使用内存不应该超过20G。主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；

原创 Redis的发布订阅

原创 Redis持久化—— RDB、AOF

该命令会阻塞当前Redis服务器，执行save命令期间，Redis不能处理其他命令，直到RDB过程完成为止，执行完成时候如果存在老的RDB文件，就把新的替代掉旧的。在存储快照后，我们还可以让redis使用CRC64算法来进行数据校验，但是这样做会增加大约10%的性能消耗，如果希望获取到最大的性能提升，可以关闭此功能。Redis是内存数据库，如果不将内存中的数据库状态保存到磁盘，那么一旦服务器进程退出，服务器中的数据库状态也会小时，所以Redis提供了持久化功能。自动触发是由我们的配置文件来完成的。

原创 redis配置文件设置（狂神日记）

打开Redis.conf文件，可以看到以下字段：

原创 守护进程

打开NFS服务 （NFS就是Network File System的缩写，它最大的功能就是可以通过网络，让不同的机器、不同的操作系统可以共享彼此的文件。，是linux后台执行的一种服务进程，特点是。:路由守候进程,使用动态RIP路由选择协议。定义：守护进程就是通常讲的。，且一般采用以d结尾的名字。