- 博客(227)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 基于ZooKeeper的Kafka分布式集群搭建与集群启动停止Shell脚本
模式搭建高可用的集群以提高数据处理效率，但是目前还有许多企业依然使用ZooKeeper搭建Kafka集群，所以本文也采用ZooKeeper组件来搭建Kafka分布式集群。以broker ID为0的节点为例，下方是该节点配置Kafka的具体步骤，另外两个broker节点的配置步骤与其一致。下方是Kafka官网下载地址，本文使用。在虚拟机环境中搭建分布式集群。
2024-04-03 17:33:16
806
2
原创 LaTeX 目录标题取消(自定义)留白间距
默认的目录格式生成如下图，会发现“2 产品介绍”和“1.2 项目概述”中存在一段留白。通过在导言区定义以下代码即可自定义标题留白间距宽度。
2024-03-14 04:34:06
561
原创 PyTorch 多个网络反向传播时出现梯度计算错误
经过调试之后发现，我在计算出critic loss之后并没有进行critic网络的反向传播，而是开始计算actor loss。两个网络的loss都计算完毕后才开始进行反向传播就会出现上述报错。我现在正在做的算法是关于强化学习MADDPG，需要用到两个网络actor和critic。解决方法就是将两个网络的loss和backward都单独封装计算即可。torch具体报错内容如下。
2024-03-11 07:00:26
685
1
原创 MySQL NDB Cluster 基于Nginx stream的负载均衡配置
首先从nginx官网中下载解压之后，执行以下命令基于stream编译Nginx，使得Nginx能够提供tcp代理的功能。
2024-03-07 02:51:28
532
原创 MySQL NDB Cluster 分布式架构搭建 自定义启动、重启和关闭集群Shell脚本
以下是自定义的集群重启Shell脚本（前提是hadoop102的root用户已经将ssh密钥分配给hadoop103和hadoop104的root用户，否则还需要输入密码；为了测试集群是否能够正常存储数据，需要在SQL节点中设置MySQL远程连接配置。在第三台服务器完成数据节点初始化之后，便可以启动两个SQL节点。再初始化初始化数据节点，注意此时初始化完毕会自动连接到管理节点。注意SQL节点需要在数据节点全部启动后，才能开始启动。在管理节点中执行以下命令，初始化管理节点。在初始化mysqld之前，需要将。
2024-03-02 07:26:45
767
1
原创 Python-docx 警告 UserWarning: style lookup by style_id is deprecated. Use style name as key instead.
属性不符合官方文档提供的段落样式名，则会出现该提示。，运行之后则会出现该警告，修改为。
2023-12-27 11:05:49
590
原创 Python-docx 深入word源码 带有序号的段落无法设置段后、段前距离、间距等段落属性
如果使用来创建序号段落，会发现设置序号段落之间的段前、段后以及段落间距无法生效。后来将docx库生成的word文档打开后发现段落的设置出现问题，如下图红框所示，将该选项去掉即可使段落间距属性生效所以经过查看XML，在中的对应标签设置为。
2023-12-27 10:25:25
748
原创 Python-docx 深入word源码 自定义带有序号的段落中的序号字体样式设置
中的序号字体样式进行修改，发现有时候序号样式不生效，经过测试发现会被。的下一级均可使序号字体样式生效，而正文的字体样式（宋体）的。段落字体样式进行覆盖，从而达到设置正文字体样式的效果。这说明其实设置序号字体样式的方式是通过设置整个段落。标签的样式，然后run对象中的字体样式优先级比。发现了字体样式优先级的问题后，可以考虑只对。由于直接修改run对象的字体样式只对。其中用于设置序号字体（楷体）样式的。对应的段落字体样式覆盖。被设置为了不同的字体样式。的内容展示，可以发现。
2023-12-26 18:02:32
1125
原创 Python-docx 深入word源码 自定义字符间距
的方式打开一个已经提前设置好字符间距的word文档，在。可以看到具体关于字符间距设置的。pt(磅) * 20。
2023-12-11 16:26:09
845
原创 Python-docx 深入word源码 自定义页码页脚以动态显示总页数和当前页数
代码和效果图先上能够正常显示页码页脚的Python代码和效果图，之后再解释原理和思路from docx import Documentfrom docx.shared import Ptfrom docx.oxml import OxmlElementfrom docx.enum.text import WD_PARAGRAPH_ALIGNMENTfrom docx.oxml.ns import qn# 添加页脚，格式为：第 n 页 共 m 页def Footer(doc, font_n
2023-12-01 14:13:14
2685
2
原创 git 对已有的项目代码建立github仓库
则说明你没有配置SSH连接密钥，可以在本地执行以下命令生成SSH密钥，再将用户目录下生成的。文件中的密钥内容复制到github用户设置中即可；
2023-11-24 14:57:48
455
原创 面向对象设计中的七大设计原则与二十三种设计模式
开闭原则中的“开闭”指的是对扩展开放而对修改关闭，具体意思是当需要扩展一个实体的功能时，能够在不修改原先模块代码的前提下进行功能的扩展。该原则的关键是抽象化。意味着我们需要找到模块中的可变因素，通过抽象化对这些可变因素进行封装，而其他模块只需要引用抽象层即可。依赖倒转指的是，高层模块不应该直接依赖于底层模块，应该依赖于底层模块的抽象层。在Java中，模块之间的依赖关系应体现对接口类或者抽象类的依赖，而不应依赖于它们的子类（实现类）。依赖倒转原则关键是要针对接口编程，而不是针对实现编程。
2023-06-08 03:32:53
2445
2
原创 EA15 显示类方法参数名与参数类型、删除类方法中指定参数
点击“Features”，在“Show Parameter Detail”选项中选择“Full Details”即可。点击首部菜单栏中的“Design”，再点击“Manage”，再点击“Properties”，进入该类图属性设置界面。通过查阅官网文档可知，在EA15中，默认类方法只显示参数类型，不显示参数名称，要解决这个问题可以按如下步骤进行。点击侧边栏的“Parameters”，而后即可对需要删除的参数。首先需要先对该方法右键，然后点击“Properties”，再点击“Delete”，删除该方法参数。
2023-05-23 16:02:00
716
原创 SpringBoot 忽略传递给前端的JSON中的某属性
现在有一个User类，其中包含了用户名和密码两个属性，如果需要实现密码的只写操作：前端能够正常传递给后端这个password属性，但是后端返回给前端的JSON数据中不包含该属性，可通过@JsonProperty注解实现该功能。
2023-03-01 14:13:09
432
原创 SpringSecurity @PreAuthorize注解引用yml变量
这是原本在Controller层配置的角色权限注解，可以看到角色控制符（0,1,2）都是固定写死的，可读性较差，若数据库中的role字段内容更新不易于维护代码。所以可以通过@environment.getProperty()注解方法来引用.yml配置文件中的自定义变量，实现动态更新。原方法修改为以下内容。
2023-03-01 13:21:51
531
原创 SpringBoot MongoTemplate 自动注入失败
由于SpringBoot2的版本过高，有可能导致在SpringBootTest中MongoTemplate类不能通过@Autowired自动注入，需手动进行Bean注入。可自定义一个配置类MongoDBConfig，并对MongoDB的IP地址以及数据库进行设置。
2023-01-29 23:41:53
1659
原创 Python OLS 双向逐步回归
算法基本思路：首先需要确定一个因变量y以此构建一元回归方程，再找到已通过显著性检验的一元线性回归方程中F值最大的解释变量x0，将其并入回归方程中，再分别将剩余的解释变量与解释变量x0作为OLS函数的自变量集拟合回归方程，同样找出其中F值最大的自变量集，如果该自变量集均能通过显著性检验则将该解释变量并入回归方程中并进行下一轮的迭代，否则舍弃该解释变量，并找出F值第二大的自变量集继续对其进行显著性检验。以下是将方程以及变量解释输出至.txt文件的最终结果。以下是data数据集格式，一个解释变量为一列。
2022-12-17 20:53:28
1673
原创 Seaborn 一维subplots ‘AxesSubplot‘ object is not subscriptable
所以源代码改为如下即可正常运行。方法中的第一维参数为1时，，否则提示变量下标不可用。当我执行以下代码时，出现。方法中的ax参数不能使用。
2022-12-10 19:58:50
1894
原创 IDEA 本地远程执行MapReduce（HA集群）程序找不到自定义Mapper与Reduce类
本文通过IDEA本地执行MR程序的main函数 ，而不是打包成Jar手工放到服务器上运行，发现以下错误提示：No job jar file set，然后在HDFS的/tmp下也没发现有该项目的Jar包，可以推测是任务提交给yarn后，本地并没有将项目打包成Jar提交给ResourceManager，导致找不到Mapper与Reducer类。注意不能是绝对路径，必须是相对路径（项目文件为根路径），否则还是无法提交成功，但是No job jar file set的提示消失了，却依旧找不到类。
2022-11-30 16:02:43
664
原创 HTML5兼容HEVC视频格式且支持本地绝对路径访问
通过PotPlayer发现该MP4文件的编码格式为HEVC，而video标签不支持该编码格式的视频文件。而通过绝对路径来寻找本地视频文件则可通过后端（SpringBoot）编写接口进行操作。在HTML文件中首先需要引用libe265.js来负责处理HEVC格式文件。以下是Controller层代码。以下是Sevice层代码。
2022-11-23 18:32:23
1285
1
原创 SpringBoot2 Invalid character found in the request target
由于Tomcat8以上在传递参数以及请求路径中不允许出现特殊字符，所以可以在SpringBoot的启动类中加入以下代码（不使用SpringBoot内置的tomcat也可以生效）
2022-11-19 21:32:17
247
原创 Jpa Mybatis-plus 忽略某字段的持久化且不作为SQL语句的字段
通过@Transient注解可以将该字段不持久化至数据库表中，而通过@TableField(exist = false)注解可以让Mybatis-plus忽略该字段，不将其作为SQL语句中的字段。
2022-11-10 15:41:41
2287
原创 HA HBase 完全分布式搭建
以下是自定义的启动HBase集群Shell脚本，需要在想要启动HMaster的节点服务器下执行start-hbase.sh脚本。以下是自定义的关闭HBase集群Shell脚本，只需要执行一台HMaster节点服务器下的stop-hbase.sh即可。首先需要启动HA集群，再通过start-hbase.sh启动HBase集群。首先需要从官网中下载HBase-bin.tar.gz。以下是regionservers的文件内容。以下是hbase-site.xml内容。以下是hbase-env.sh内容。
2022-11-04 09:51:06
286
原创 JMeter 2.11 mooctest 使用Fiddler录制脚本
在尝试了本地代理（证书无效，但是5.x能够正常生效）、BlazeMeter（参赛用的JMeter版本过老，而导致有些JML标签无法被正常识别）、badboy（内置IE，无法兼容腾讯视频网站）来对腾讯视频进行性能测试发现均无果后，最终采取Fiddler抓包的方式来进行JMeter性能测试。
2022-10-20 04:26:20
450
1
原创 Selenium 3.3 MoocTest Exception in thread “main“ org.openqa.selenium.remote.SessionNotFoundException
原因是Chrome的版本过高，我将其调整为69.0.3497.81，ChromeDriver调整为2.44即可正常运行Selenium 3.3。
2022-10-19 21:22:31
1062
原创 Genymotion Booting 安卓虚拟机 一直加载问题
而后我将“以太网2”禁用，发现能成功运行安卓模拟器了，这里推测由于两个网卡处于同一网段，安卓模拟器不能确定需将哪一个网卡作为网关导致连接冲突，且此时能够ping通192.168.1.101，起初在通过 Genymotion（github最新release版本） 启动安卓ova镜像时，发现一直卡在Starting virtual device界面，等了十分钟还是如此。查看vbox下的虚拟机发现一直卡在第二阶段，而后查阅各种资料，排除内存不够原因，将问题锁定在网络。整个加载安卓模拟器的时间大约为。
2022-10-19 04:00:10
2489
2
原创 Maven SpringBoot2 打包war发布至docker tomcat公网
在 target 目录下找到生成的 war 包（我这里已经提前将该war包重命名）之后便可以对该项目服务进行正常访问，注意我这里的 base URL 为。执行 mvn install，将springboot项目文件打包为。首先需要排除springboot自带的tomcat依赖。为使本地启动tomcat服务正常，需添加以下依赖。将之前生成的 war 包导入对应的挂载目录下即可。修改springboot启动类。进入云服务器终端并执行以下指令。添加打包方式以及打包插件。
2022-10-11 02:24:14
308
原创 MyBatis-Plus getById 查询语句正常但返回值为NULL
而且在使用@TableFiled 时需要不能通过手写SQL的方式，因为通过手写SQL的方式MP不能将别名语句补到该SQL语句中，从而失效。所以下次在设定属性名一定要遵守驼峰命名法呀...由于该项目代码是我的一位导师发给我的，我当时拿到代码也没去注意属性名不规范的问题（不是甩锅）改了一晚上，非常痛苦。刚开始我以为是实体类的属性名与数据库表字段的映射关系出现异常，而后我尝试使用@TableFiled注解对实体类的属性名进行映射。最后发现在MyBatis-Plus中，实体类的属性名不能带。
2022-10-06 02:58:17
3143
转载 Python re 正则表达式 look-behind requires fixed-width pattern
关于Python Regex Engine：Python Regex Engine-“后视需要固定宽度模式”错误 | 码农家园 (codenong.com)
2022-09-28 01:08:28
986
原创 CentOS7.9 虚拟机挂载exFAT格式U盘
此时便可以顺利挂载U盘了，将其挂载至自己创建的/upan空目录下。将USB兼容性改为3.1，否则虚拟机无法识别我的U盘。首先在导航条中找到“虚拟机”->“设置”通过yum指令启动EPEL软件源。安装fuse-exfat工具。
2022-09-24 18:20:08
1683
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人