- 博客(124)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 RabbitMQ数据一致性和消息积压问题
以淘宝为例，探讨了RabbitMQ在分布式系统中的数据一致性和消息积压问题。通过引入MQ消息中间件，系统实现了交易服务与淘金币服务的解耦和流量控制，但也带来了消息丢失和重复消费的挑战。文章详细分析了消息丢失的三个阶段（生产、存储、消费），并提出了通过全局唯一ID和版本号检测消息丢失的机制。同时，针对消息重复消费问题，提出了通过消息日志表实现消费端幂等性的解决方案。最后，文章讨论了消息积压问题，指出消费端是性能瓶颈，并提出了临时扩容、降级非核心业务、优化消费逻辑等解决策略。
2025-05-17 20:12:42
1237
原创 RabbitMQ最新入门教程
1.什么是消息队列 2.为什么使用消息队列 3.消息队列协议 4.安装Erlang 5.安装RabbitMQ 6.RabbitMQ核心模块 7.RabbitMQ六大模式 7.1 简单模式 7.2 工作模式 7.3 发布订阅模式 7.4 路由模式 7.5 主题模式 7.6 RPC模式 8.RabbitMQ四种交换机 8.1 直连交换机 8.2 主题交换机 8.3 扇形交换机 8.4 首部交换机 9.RabbitMQ Management使用 9.1 Queues操作 9.2 Exchanges操作
2025-05-15 19:24:31
1388
原创 Windows命令行软件管理器：Chocolatey
Chocolatey 是一款专为 Windows 设计的命令行软件管理器，类似于 Linux 的 yum 和 macOS 的 brew，旨在简化软件安装和管理流程。它通过命令行操作，提供了软件安装、升级、卸载等功能，并支持自动化依赖管理和版本控制，极大提升了开发者的工作效率。安装 Chocolatey 需通过 PowerShell 执行特定命令，并可通过 choco 命令进行软件包的管理。
2025-05-08 23:35:35
1123
原创 Redis最新入门教程
Redis最新入门教程 1.安装Redis 2.连接Redis 3.Redis环境变量配置 4.入门Redis 4.1 Redis的数据结构 4.2 Redis的Key 4.3 Redis-String 4.4 Redis-Hash 4.5 Redis-List 4.6 Redis-Set 4.7 Redis-Zset 5.在Java中使用Redis 6.缓存雪崩、击穿、穿透 6.1 缓存雪崩 6.2 缓冲击穿 6.3 缓冲穿透 6.4 业务可靠性处理.
2025-05-08 21:52:42
1450
原创 Maven使用教程
Maven使用教程 1.安装Maven 2.Maven项目结构 3.理解`pom.xml`文件 4.详解依赖的属性 4.1 依赖范围 4.2 依赖可选 4.3 依赖排除 5.Maven仓库 5.1 自定义本地仓库地址 5.2 Maven镜像设置 5.3 搜索第三方组件 6.Maven常见命令 7.Maven常用POM属性 8.在IDEA中配置Maven 9.mvnw 10.`pom.xml`文件示例.
2025-05-08 19:29:56
1350
原创 深入理解MySQL事务
深入理解MySQL事务 1.事务的基础理论 1.1 概念及作用 1.2 事务的状态 1.3 事务的特点 2.事务的语法 3.事务的设置与查看 4.事务的保存点 5.事务的实现 MySQL 事务是一个或者多个的数据库操作，要么全部执行成功，要么全部失败回滚。事务是通过事务日志来实现的，事务日志包括：redo log 和 undo log。事务主要是为了保证复杂数据库操作数据的一致性，尤其是在并发访问数据时。MySQL 事务主要用于处理操作量大，复杂度高的数据。
2025-05-07 19:38:43
580
原创 二、MySQL操作命令汇总
二、MySQL操作命令汇总 1.数据库操作 2.表的增删改查 2.1 查表 2.2 建表 给表添加注释 假如表已经存在 2.3 删表 2.4 查看表结构 2.5 改表 3.简单查询 3.1 查询单个字段 3.2 查询多个字段 3.3 查询所有字段 3.4 查询结果去重 3.5 查询结果排序 3.6 查询结果限制条数 3.7 查询分组结果 4.条件查询 4.1 区间查询 4.2 枚举查询 4.3 NULL查询 4.4 逻辑操作符 4.5 通配符查询 4.6 集合查询 5.数据的增删改查 5.1 增数据 5.2
2025-05-07 14:39:28
738
原创 一、MySQL基础教程
一、MySQL基础教程 1.数据类型 1.1 整数类型 1.2 浮点数类型 1.3 定点数类型 1.4 日期和时间类型 1.5 字符串类型 1.6 枚举与集合类型 1.7 二进制类型 2.字符集和比较规则 2.1 字符集 2.2 比较规则 3.字段的常用属性 3.1 默认值 3.2 是否允许为空 3.3 主键 3.4 自增 3.5 注释 3.6 UNIQUE 3.7 外键 3.8 ZEROFILL
2025-05-07 14:33:27
718
原创 MySQL bin目录下的可执行文件
MySQL bin目录下的可执行文件 1.mysqldump 2.mysqladmin 3.mysqlcheck 4.mysqlimport 5.mysqlshow 6.mysqlbinlog 7.常用可执行文件
2025-04-30 16:09:10
972
原创 MySQL最新安装、连接、卸载教程（Windows下）
1.MySQL安装2.MySQL连接。命令行连接，图形化连接（推荐）3.MySQL卸载。MySQL 一共可以分为四个版本：MySQL Community Server（社区版），一般都用这个版本（免费，可白嫖 😁）。MySQL Enterprise Edition（企业版），需要付费，一般大型企业才会用。MySQL Cluster（集群版），用于架设 MySQL 集群，一般也是大型企业才会用到。
2025-04-27 21:23:47
793
原创 Contextual Augmented Global Contrast for Multimodal Intent Recognition
提出了一种上下文增强全局对比（CAGC）方法。CAGC 包括两个主要部分：上下文增强转换器 (CAT) 模块和全局上下文引导对比学习 (GCCL) 方案。主要想法是探索丰富而全面的上下文特征，以解决意图识别中的不确定性问题。CAT 的目的是通过同时挖掘视频内和跨视频的上下文关系来学习精炼的全局上下文相关特征，从而减少意图理解中的偏差。为了确保有效的跨视频来源，作者进一步设计了一个跨视频库，该库同时考虑了视频间的意图倾向和相似性。该库可以帮助模型避免和减轻无关视频带来的错误积累，从而确保更精确的跨视频上下文特
2024-10-30 11:29:34
1211
原创 Hierarchical Supervised Contrastive Learning for Multimodal Sentiment Analysis
将监督对比学习（SCL）引入 MSA 任务，提出了一种层次化监督对比学习方法（HSCL），以对齐来自不同模态的内容，包括单模态表征和双模态融合特征。同时，使用标签来约束对齐的表征，以保留丰富的情感语义。引入了有监督的对比学习，并提出了一种分层训练策略，即从低层和高层特征表征中捕捉情感。设计了self-attention和cross-attention模块，以融合来自不同模态数据的表征，从而提供更有效的情感内容。结果表明，HSCL 在两个公开的多模态情感分析数据集上取得了最先进的性能。
2024-10-30 11:22:16
1144
1
原创 CLGSI: A Multimodal Sentiment Analysis Framework based on Contrastive Learning Guided by Sentiment I
提出了一种基于情感强度引导的对比学习（CLGSI）的多模态情感分析新框架：提出了以情感强度为导向的对比学习方法。在对比学习中，根据情感强度差异选择正负样本对，并相应地分配权重。这就为对比学习过程提供了丰富的细粒度信息。提出了一种模仿人类认知过程的多模态表征融合机制——全局-局部-细粒度-知识（GLFK）。利用 GLFK 机制融合通过对比学习训练获得的各模态表征，以提取不同模态的共性特征。同时，使用 MLP 处理每个模态编码器的输出，提取每个模态的特定特征。最后，通过共性特征和特定特征的联合学习来预测情感强度
2024-10-30 11:16:17
1330
原创 利用Optuna对PyTorch模型进行自动调参
利用Optuna对PyTorch模型进行自动调参 1. Optuna安装 2. Optuna使用流程 3. 超参数采样的搜索空间 4. 优化算法 4.1 采样算法 4.2 切换采样器 4.3 剪枝算法 4.4 激活 Pruner 5. Optuna Dashboard的使用 5.1 Optuna Dashboard安装 5.2 使用流程 6. 案例一：使用 Optuna 的 XGBoost 模型调参（Scikit-Learn框架） 7. 案例二：使用 Optuna 的 MLP 神经网络调参（Pytorch框
2024-10-24 17:48:06
3434
原创 深度学习超参数调优指南
一、超参数相关基础知识 1. 神经网络中包含哪些超参数 2. 超参数的重要性顺序 3. 部分超参数如何影响模型性能 4. 部分超参数合适的范围 二、超参数调整技巧 1. 如何选择激活函数 2. 如何调整 Batch Size 3. 如何调整学习率 三、自动调参方法 1. 网格搜索与随机搜索 2. 贝叶斯优化 四、调试模型技巧 1. 探索和清洗数据 2. 探索模型结果 3. 监控训练和验证误差
2024-10-24 17:33:17
3390
原创 深度学习调参技巧总结
1.寻找合适的学习率 2.优化算法选择 3.模型对不同超参数的敏感性 4.训练技巧.虽然 Adam 收敛更快，但得到的解往往不如 SGD+Momentum 稳定，如果不急于求成，选择 SGD 可能是更好的选择。Adam 不需要频繁调整学习率，而 SGD 则需要更多时间来调节学习率和初始权重。常用的超参数优化方法有：手动优化、网格搜索、随机搜索、由粗到细、贝叶斯优化。采用较大的batch-size，只要不超出显存就可以。越大的batch-size使用越大的学习率，反之亦然。
2024-10-15 19:50:21
899
原创 修改Anaconda虚拟环境默认安装路径(Linux系统)
1.方法一：使用`--prefix`参数.在创建虚拟环境时，使用`--prefix`参数来指定虚拟环境的位置，但是在激活环境以及删除环境时，也需要使用`--prefix`参数来指明环境的位置所在。2.方法二：配置conda环境的默认安装位置.通过`conda info`查看conda的配置文件所在位置。`.condarc`文件一般位于用户目录下。修改`.condarc`配置文件。在配置文件中使用`envs_dirs和pkgs_dirs`来指定环境和python包的安装路径。
2024-10-05 20:57:12
2034
原创 Ubuntu开机进入紧急模式处理
Ubuntu开机不能够正常启动，自动进入紧急模式（You are in emergency mode）。1.按Ctrl+D进入到单用户模式下，输入root密码，回车。（输入密码时无显示）2.命令行输入`journalctl -xb`查看日志。3.在日志界面通过`/ fsck failed`来查找相关的错误磁盘4.卸载磁盘。5.修复磁盘。6.`reboot`重启系统。
2024-09-30 16:28:46
3902
8
原创 Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal Sentiment Analysis
在多模态情感分析领域，以往的大多数研究都侧重于探索模态内和模态间的交互。然而，由于模态之间的差距，利用跨模态信息（语言、音频和视频）训练网络仍然具有挑战性。此外，虽然每个样本内的动态学习备受关注，但样本间和类间关系的学习却被忽视。（如何学习到多模态数据有意义的表征？）作者提出了一种新型框架 HyCon，用于三模态表征的混合对比学习。具体来说，同时进行模态内、模态间对比学习和半对比学习，这样模型就能充分探索跨模态交互，学习样本间和类间关系，缩小模态差距。此外，还引入了细化项和模态边界，以便更好地学习单模态配对
2024-09-23 16:40:51
1029
原创 如何使用Pytorch-Metric-Learning？
PyTorch-Metric-Learning 是一个基于 PyTorch 的开源库，专门用于度量学习（Metric Learning）的实现和研究。度量学习是一类机器学习任务，旨在学习一个距离函数，使得相似的样本在特征空间中靠得更近，而不相似的样本更远。该库包含9个模块（可用模块概览，点击查看），每个模块都可在现有的代码库中独立使用，或者组合起来完成完整的训练和测试工作流。1.Pytorch-Metric-Learning库9个模块的功能2.如何使用PyTorch Metric Learning库中的Lo
2024-09-08 15:43:19
1510
原创 torch.sort()函数用法
torch.sort()按值升序沿给定维度对输`dim(int,optional)`：要排序的维度。如果未给出`dim`，则选择输入的最后一个维度。入张量的元素进行排序。`input(Tensor)`：输入张量`descending(bool,optional)`：控制排序顺序（升序或降序）。如果`descending`为True，则元素按值降序排序。返回（值，索引）的元祖 (values, indices) ，其中值是排序后的值，索引是原始输入张量中元素的索引。
2024-08-29 18:24:36
460
原创 MathType常见问题汇总
MathType常见问题汇总 一、如何将MathType内嵌到WPS工具栏中？ 二、在word中，如何批量修改所有MathType公式的字体以及大小格式？ 三、如何解决插入MathType公式后的行间距发生改变？
2024-08-27 22:59:13
5006
原创 Java关键字及保留字总结
Java的48个关键字及2个保留字总结，1.abstract 2.boolean 3.break 4.byte 5.case 6.catch 7.char 8.class 9.continue 10.default 11.do 12.double 13.else 14.enum 15.extends 16.final 17.finally 18.float 19.for 20.if 21.implements 22.import 23.instanceof 24.int 25.interface
2024-08-02 12:11:28
1135
原创 PyTorch实现L1和L2正则化
1.L1正则化与L2正则化介绍 2.利用torch.optim实现正则化 3.利用torch.optim实现正则化进阶（建议使用👏） 4.方法一：直接在loss后面加对应的惩罚项 4.1 L1正则化实现思路 4.2 L2正则化实现思路 5.方法二：通过封装一个正则化类实现正则化 5.1 封装一个实现正则化的Regularization类 5.2 利用Regularization类添加正则化
2024-07-27 20:21:33
1679
原创 从零开始搭建一个PyTorch模型
为了更好的理解PyTorch模型的架构，本文使用手写数字识别的例子，从零开始一步步搭建一个标准的前馈神经网络。1.神经网络的搭建思路？2.模型搭建流程2.1加载数据集2.2定义模型（搭建网络结构）2.3创建三个对象（模型本身、优化器、损失函数）2.4模型训练2.5模型测试3.手写数字识别可执行代码
2024-07-24 18:10:58
1254
1
原创 torch.manual seed(3407) is all you need
作者尝试探究不同的随机种子对CV领域模型效果的影响。在CIFAR 10数据集尝试了将近一万个随机种子，包括在大型数据集ImageNet数据集上的一些随机种子后，最后得出结论：尽管不同随机种子之间的效果标准差很小，但是仍然能够发现一些“异常点”，也就是使得模型表现相较于平均值特别好或者特别差的随机种子。深度学习模型随机种子seed推荐：42、3407、114514。
2024-07-22 21:47:57
863
原创 深度学习损失计算
1.如何计算当前epoch的损失？2.为什么要计算样本平均损失，而不是计算批次平均损失？计算当前epoch的样本平均损失。通过总损失除以总的数据样本数，来得到平均损失。`average_loss = loss/len(dataloader.dataset)`【注意：除的是总的数据样本数（`len(dataloader.dataset)`）！不是总的批次数（`len(dataloader)`）！】
2024-07-16 21:01:18
1216
原创 深度学习调参基础
深度学习调参基础 1.需要调节的超参数有哪些？ 2.什么时候需要调参？ 3.如何调参？ 3.1过拟合情况调参 3.2欠拟合情况调参 3.3收敛但震荡情况调参 3.4不收敛情况调参 4.调参示例 需要调节的超参数有哪些？和网络结构相关的参数：神经网络的网络层数、不同层的类别和搭建顺序、隐藏层神经元的参数设置、LOSS层的选择、正则化参数；和训练过程相关的参数：网络权重初始化方法、学习率使用策略、迭代次数、Batch的大小、输入数据相关。
2024-07-10 21:52:18
2067
原创 TensorBoard进阶
1.设置TensorBoard（重点✅）2.图像数据在TensorBoard中可视化3.模型结构在TensorBoard中可视化（重点✅）4.高维数据在TensorBoard中低维可视化5.利用TensorBoard跟踪模型的训练过程（重点✅）6.利用TensorBoard给每个类绘制PR曲线7.在TensorBoard中绘制训练与验证损失对比曲线（重点✅）8.TensorBoard的跟踪参数曲线图线条紊乱的解决办法（重点✅）9.TensorBoard中通过分层命名图避免UI混乱
2024-07-05 16:09:52
1245
原创 在PyTorch中使用TensorBoard
在机器学习中，要改进模型的某些参数，我们通常需要对其进行衡量。TensorBoard是用于提供机器学习工作流期间所需测量和呈现的工具。它使我们能够跟踪实验指标（例如损失和准确率），呈现模型计算图，将嵌入向量投影到较低维度的空间等。在PyTorch中使用TensorBoard：1.安装2.TensorBoard使用2.1创建SummaryWriter实例2.2利用add_scalar()记录metrics2.3关闭Writer2.4启动TensorBoard3.本地连接服务器使用TensorBoard
2024-07-05 16:01:35
3020
原创 深度学习归一化与正则化
归一化(Normalization) 定义：归一化是指通过某种算法将输入数据或神经网络层的激活值处理后限制在我们需要的特定范围内。它的目的是为了方便后续的数据处理，并加快程序的收敛速度。归一化的主要作用是统一样本的统计分布。在0到1之间的归一化代表的是概率分布，而在其他区间内的归一化则表示的是坐标分布。正则化(Regularization)定义：正则化是指为解决适定性问题或过拟合而加入额外信息的过程。在机器学习和逆问题的优化过程中，正则项往往被加在目标函数当中。
2024-06-20 17:43:24
739
1
原创 根据模型log文件画loss曲线
思想：使用Python的matplotlib库来绘制loss曲线。首先需要解析log文件，提取出每个epoch对应的loss值，然后再进行绘制。1.初始化两个空列表epochs和losses，用于存储epoch和loss值。2.打开并读取log文件，每次读取一行。3.使用正则表达式查找并提取每行中的epoch和loss值，并分别添加到epochs和losses列表中。4.使用matplotlib绘制loss曲线，其中epochs作为x轴，losses作为y轴，并设置合适的标签和标题。
2024-06-20 12:29:11
434
原创 Linux服务器挖矿病毒处理
情况说明：挖矿进程被隐藏（CPU占用50%，htop/top却看不到异常进程），结束挖矿进程后马上又会运行起来（crontab -l查看发现没有定时任务）。1.中毒表现 2.解决办法：断网并修改root密码，找出隐藏的挖矿进程，关闭病毒启动服务，杀掉挖矿进程 3. 防止黑客再次入侵：查找异常IP，封禁异常IP，查看是否有陌生公钥。中毒表现：服务器是24核的，前12核的CPU占用一直处于100%，即使重启服务器，马上就会占用12核的CPU，并且系统内存占用也很大。在没有使用软件的情况下，CPU使用率很高。
2024-06-19 20:58:40
3114
1
原创 An efficient multimodal sentiment analysis in social media using hybrid optimal multi-scale residual
EMRA-Net：利用混合优化多尺度残差注意力网络在社交媒体中进行高效的多模态情感分析。总结：提出一种使用 AOA-HGS 优化的集成多尺度残差注意力网络 EMRA-Net，来探索文本、语音、和视觉模态之间的相关性，从而进行了更有效的多模态情感分析。优点：在提出的模型中，对三种模态（文本、语音和视频）给予同等重视。缺点：将特征融合起来输入，得到的三种模态特征是否具备足够的特性。作者：Bairavel Subbaiah，Kanipriya Murugesan。单位：KCG技术学院（印度）
2024-06-07 18:24:04
1212
原创 A Unified Self-Distillation Framework for Multimodal Sentiment Analysis with Uncertain Missing Modal
UMDF：用于具有不确定缺失模态的多模态情感分析的统一自馏框架。总结：提出的UMDF框架解决了MSA任务中的缺失模态问题。UMDF通过蒸馏式分布监督和基于注意力的多粒度交互，产生了鲁棒的联合多模态表征。作者：Mingcheng Li，Dingkang Yang，Lihua Zhang。单位：复旦大学工程技术研究院、认知与智能技术实验室（CIT 实验室）。会议/期刊：The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI 2024)
2024-06-07 18:02:51
1440
1
原创 Sentiment Knowledge Enhanced Self-supervised Learning for Multimodal Sentiment Analysis
SKESL：多模态情感分析中的情感知识增强型自监督学习。总结：从未标注的视频数据中挖掘情感先验信息可以为标注数据带来更好的预测效果。未标记视频数据量越大，语言建模能力越强，性能越好。（自监督学习，扩大数据集）作者：Fan Qian，Jiqing Han。单位：Harbin Institute of Technology（哈尔滨工业大学）。会议/期刊：Findings of the Association for Computational Linguistics: ACL 2023
2024-06-07 17:48:26
1479
3
原创 Pycharm导入自定义模块报红
Pycharm 导入自定义模块报红，出现红色下划线。打开【File】->【Setting】->【Build,Execution,Deployment】->【Console】->【Python Console】，查看 Add Source Roots to PYTHONPATH 是否勾选，如果没有请勾选。选中波浪线标红的项目文件夹，右键，【Mark Directory as】–>【Sources Root】注意：一个项目下面如果有多个文件夹，我们只将最顶部的文件夹Sources Root 一下就可以了。
2024-05-07 18:04:32
2373
1
原创 PyTorch如何修改模型（魔改）
对模型缝缝补补、修修改改，是我们必须要掌握的技能，本文详细介绍了如何修改PyTorch模型？也就是我们经常说的如何魔改。PyTorch 的模型是一个 torch.nn.Module 的某个子类的对象，修改模型实际就等价于修改某个类，对面向对象熟悉的同学应该知道，对类做修改有两个经典的方法：组合和继承。1.修改模型层(模型框架⭐)1.1通过继承修改模型1.2通过组合修改模型(重点学👀)1.3通过猴子补丁修改模型2.添加外部输入3.添加额外输出。
2024-04-29 12:16:37
4215
7
原创 Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
Infini-Transformer model 是一个强大而通用的Transformer模型，设计用于广泛的自然语言处理任务。它利用最先进的技术和架构来实现卓越的性能和无限上下文长度的可伸缩性。 Infini-attention 将压缩内存融入到普通的注意力机制中，使得 LLMs 能够以有界的内存和计算资源处理无限长的上下文。
2024-04-26 16:03:23
1298
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人