scrapy服务器重试机制失效问题 有时间的提前了解下默认的重试中间件：RetryMiddleware。以下都属于中间件的配置项，需要在(setting)配置项中加入。5、请求不允许添加返回其他数据，会导致重试失效。当前问题以，有自定义中间件，并加入代码问题导致。4、参数解析过程加入多余配置阻碍程序。1、多余配置项导致数据内容有误。2、代码请求异常被捕获没有抛出。3、配置项遗漏异常配置。
自然语言解析文本内容 读取文本内容通过正则取冒号前后数据，将拿到的数据放到map结构中，通过语义分析是否包含需要的字段信息，包含则返回具体的数据，主要使用了：正则、THULAC、cosine_similarity、CountVectorizer
coze环境中python的SSL证书不安全问题处理 请注意，禁用 SSL 证书验证会使你的应用程序容易受到中间人攻击，因此请确保你了解这样做的风险，并且只在测试或开发环境中这样做。在生产环境中，强烈建议使用有效的 SSL 证书验证。verify=False：代表不使用SSL证书校验、以上方式在coze中使用失败。替换方案：使用httpx。
SSL证书不安全问题处理方案 请注意，禁用 SSL 证书验证会使你的应用程序容易受到中间人攻击，因此请确保你了解这样做的风险，并且只在测试或开发环境中这样做。在生产环境中，强烈建议使用有效的 SSL 证书验证。verify=False：代表不使用SSL证书校验、以上方式在coze中使用失败。替换方案：使用httpx。
事务与分布式事务区别 Transaction Coordinator（TC）：事务协调器，它是独立的中间件，需要独立部署运行，它维护全局事务的运行状态，接收 TM 指令发起全局事务的提交与回滚，负责与 RM 通信协调各各分支事务的提交或回滚。：依赖于数据库，能够很好的提供强一致性和强事务性，但相对来说延迟比较高，比较适合传统的单体应用，在同一个方法中存在跨库操作的情况，不适合高并发和高性能要求的场景。：锁资源：发送预提交请求，参与者开始提交操作，如果成功执行事务操作，则返回ACK响应，失败返回NO或者返回超时，则中断事务。
RabbitMQ AMQP，即Advanced Message Queuing Protocol，一个提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同的开发语言等条件的限制。Erlang中的实现有RabbitMQ等。**Broker(中间件-**消息队列服务器实体**)**:接收和分发消息的应用，RabbitMQ Server就是Message Broker。
Mysql8新特性-json函数 MySQL里的json分为json array和json object。表示整个json对象，在索引数据时用下标对于jsonarray，从0开始或键值对于jsonobject，含有特殊字符的key要用括起来，比如例如：[3, {“a”: [5, 6], “b”: 10}, [99, 100]]，那么：$[0]：3$[1].b：10$[2][0]：99。
Mysql8.0新特性 （涉及写入缓存的点：redo log 8.0之前通过两个锁及队列的方式保证数据的一致性，8.0之后，去掉锁，采用了区间的方式，区间内的所有日志是原子性的，都是串行化执行，以此来提高性能）redo log是重做日志，提供前滚操作，他是innodb事务日志的一部分，另一部分是undo log，提供回滚操作。redo log是一种物理日志，记录的是数据页的物理修改，而undo是行记录。redo log分为两部分，一是写入内存的日志，二是从内存写入磁盘的日志。
WebSocket tomcat/undertow/其他：如果存在多个会导致方法的实现类过多找不到对应的使用方法，websocket容器加载为null。如果使用undertow容器则需要排除spring-boot-start-web自带的tomcat容器。如果仍然解决不了则需要排查是否存在其余功能引入了tomcat，最简单的则是单独起websocket。
thumbnailator对图片进行各种处理 方法1.读入源图片可以批量处理，多个文件或者文件夹；2.设置大小，按比例或者拉伸3.剪裁4.旋转5.水印6.质量7.输出格式8.输出图片实现代码用JAVA读取图片的三种方式参考实现：参考地址：java读取图片方法实现代码
常用注解（Annotation） Annotation型定义为@interface, 所有的Annotation会自动继承java.lang.Annotation这一接口,并且不能再去继承别的类或是接口.参数成员只能用public或默认(default)这两个访问权修饰参数成员只能用基本类型byte,short,char,int,long,float,double,boolean八种基本数据类型和String、Enum、Class、annotations等数据类型,以及这一些类型的数组.
反射和invoke 1、Java反射机制的核心是在程序运行时动态加载类并获取类的详细信息，从而操作类或对象的属性和方法。本质是JVM得到class对象之后，2、Java属于先编译再运行的语言，程序中对象的类型在编译期就确定下来了，而当程序在运行时可能需要动态加载某些类，这些类因为之前用不到，所以没有被加载到JVM。通过反射，可以在运行时动态地创建对象并调用其属性，
申请免费的二级域名全流程 EU.org是由Paul Mockapetris在1996年创建的免费域名服务，给没有资金买域名的个人或公司提供永久免费的域名。虽然是二级域名，但是已经被一些网络公司（当然是国外的）认定为顶级域名。
Mycat安装及配置(基于Mysql) 1、下载安装包2、修改配置项：mycat\conf2.1 schema.xml-重点配置2.2 server.xml -可以不改动2.3 rule.xml -可以不改动3、启动项目：cd mycat/bin/4、查看日志：mycat/logs5、SpringBoot配置 ：Mysql-8.06、Mycat--读写分离7、Mycat--分片-横向(水平)8、Mycat--分片-纵向-垂直分库分表9、Mycat--主从切换dataNode多个数据快捷方式；注意：1、Mysql密码加密
Mysql主从搭建 [mysqld]## 设置server_id，同一局域网中需要唯一server_id=100## 指定不需要同步的数据库名称binlog-ignore-db=mysql## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。## 1062错误指主键重复，1032错误是因为主从数据库数据不一致slave_skip_errors=1062
多线程-线程池 总体来说，线程池有如下的优势：（1）降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。（2）提高响应速度。当任务到达时，任务可以不需要等到线程创建就能立即执行。（3）提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。
关注
