- 博客(110)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 逻辑回归暴力训练预测金融欺诈
使用逻辑回归暴力预测金融欺诈，并不断增加特征维度持续测试」的做法，，在金融欺诈检测中非常有价值，本文作为一篇回顾性记录了早年间公司给某行做反欺诈预测用到的技术和思路。百度原始论文目前搜不到了，当时这篇论文的要点就提到，通过特征增广，只要是特征就用起来，使用最简单的逻辑回归模型来提高预测的精确度。在工程上会攒出惊人数量级的特征维度， 但是效果也是很明显的简单说了有很明显的以下意义。
2025-06-09 16:48:17
1273
原创 GSM8K 数据集上 测试GRPO 训练
摘要：本研究提出GRPO（Guided Reward Pretraining with Offloading）方法，用于提升语言模型的数学推理能力。该方法在GSM8K小学数学数据集上进行训练验证，通过双重奖励机制（答案正确性和输出格式规范性）和KL散度正则化，平衡推理能力与语言生成能力。实验采用分布式训练优化技术，包括DeepSpeed的ZeRO-1和参数Offloading，有效降低显存消耗。结果显示，GRPO在解题准确率（73.5%）和推理过程规范性（85.2%）上较传统RLHF方法分别提升12.3%和
2025-06-05 12:08:16
730
原创 探讨下LLM 在逻辑推理中的记忆现象
这篇论文研究了大型语言模型(LLMs)在逻辑推理任务中的表现机制。通过"骑士与无赖"逻辑谜题实验发现：1)LLMs能完美记忆训练数据(准确率近100%)；2)对稍有变化的谜题表现不佳，显示泛化能力有限；3)微调会增强记忆但也能提升泛化性能；4)模型会在记忆和推理策略间切换。研究质疑了LLMs高性能完全源于推理能力的假设，揭示了记忆的重要作用，为理解模型推理机制提供了新视角。
2025-05-30 09:21:03
1002
原创 网络拓扑如何跨网段访问
最近领导让研究下跟甲方合同里的，跨网段访问怎么实现，之前不都是运维网工干的活么，看来裁员裁到动脉上了碰到用人的时候找不到人了， 只能赶鸭子上架让我来搞IP 网络中，，不处理不同 IP 网段的数据包，当源和目标不在同一子网，必须通过路由器查路由表转发以。
2025-05-27 11:48:21
785
原创 探索Qwen2ForCausalLM 架构上进行微调
试验参考了mini_qwen 的开源实现GitHub - qiufengqijun/mini_qwen: 这是一个从头训练大语言模型的项目，包括预训练、微调和直接偏好优化，模型拥有1B参数，支持中英文。这是一个从头训练大语言模型的项目，包括预训练、微调和直接偏好优化，模型拥有1B参数，支持中英文。分词器使用Qwen/Qwen2.5-0.5B-Instruct，通过扩充模型隐藏状态层数、嵌入层维度和注意力头数，增加参数量到1B，使用flash_attention_2进行加速。
2025-05-23 19:51:46
951
原创 训练推理模型 (Reasoning Model)
DeepSeek-R1论文提出了一种新的LLM训练范式，强调通过多次冷启动和RL奖励训练来提升模型的推理能力。推理能力依赖于模型架构、预训练知识和微调/强化学习，但预训练模型通常缺乏针对推理的显式优化。冷启动通过多次初始化帮助模型探索参数空间，避免局部最优，而RL奖励训练则通过奖励函数引导模型生成逻辑连贯的推理步骤。多次冷启动与RL奖励训练的协同作用能够有效提升模型的推理能力，但参数较小的模型难以通过此方法获得显著效果。论文还介绍了推理模型的训练代码关键点，包括特殊token的定义、损失函数与惩罚机制、混合
2025-05-22 15:33:49
927
原创 Lora 微调医疗场景专家LLM
使用魔塔社区的 medical.jsonl ，已经转换为标准的lora训练格式在这篇试验的RLHF 基座模型上开始lora 微调增加模型参数，扩大词表和增加MOE提升 LLM 推理能力-CSDN博客本文介绍了使用MiniMind框架训练专属语言模型的方法。通过调整LMConfig参数，将模型参数量从26M提升至100M级别（实际达到156M），重点探讨了MoE（专家混合）技术的应用。
2025-05-22 12:08:03
588
原创 增加模型参数，扩大词表和增加MOE提升 LLM 文本生成能力
本文介绍了使用MiniMind框架训练专属语言模型的方法。通过调整LMConfig参数，将模型参数量从26M提升至100M级别（实际达到156M），重点探讨了MoE（专家混合）技术的应用。文章详细说明了模型结构设计、参数量计算公式、训练步骤（包括Tokenizer训练、预训练、监督微调和RLHF阶段）以及模型转换方法。实验表明，参数量的增加显著提升了模型性能，最终生成的0.156B参数模型效果优于之前的0.026B版本。该方案在有限GPU资源下实现了参数规模的合理扩展，为构建高效专用语言模型提供了实践参考。
2025-05-21 15:17:15
970
原创 超小多模态视觉语言模型MiniMind-V 训练
MiniMind-V是一个专为初学者设计的开源项目，旨在让用户能够在普通电脑上训练一个能够理解并描述图像的视觉语言模型（VLM）。该项目通过简化的训练流程，包括数据准备、预训练、微调和测试，使得整个过程既快速又经济，仅需1小时即可完成。MiniMind-V的模型轻量，仅含2600万个参数，适合预算有限但希望探索AI技术的用户。通过使用CLIP视觉编码器和MiniMind语言模型，MiniMind-V能够处理图文信息，生成相关描述或回答。该项目不仅降低了AI训练的门槛，还提供了一个实践多模态AI技术的平台。
2025-05-19 22:48:47
909
原创 Westlake-Omni 情感端音频生成式输出模型
Westlake-Omni是由西湖心辰开发的开源中文情感端到端语音交互大模型，托管在HuggingFace平台。该模型通过统一的文本和语音模态处理，实现低延迟、高质量的中文情感语音交互。其核心特点包括统一模态处理、低延迟交互、情感表达和开源特性。Westlake-Omni采用离散表示法统一处理语音和文本模态，简化了跨模态交互，并支持实时语音输入和输出。模型架构包括输入编码器、统一嵌入层、Transformer核心、情感建模模块和输出解码器。Westlake-Omni在高质量中文情感语音数据集上训练，能够理解
2025-05-12 13:44:58
875
原创 ALiBi (Attention with Linear Biases) 优化LLM 模型注意力
是一种注意力机制优化技术，最初在论文《》（2022）中提出。它通过在 Transformer 的注意力机制中引入线性偏置，取代传统的基于绝对位置嵌入（Positional Embedding）的编码方式，从而提高模型对长序列的泛化能力。使用线性形式的偏置，使得不同位置之间的关系可以通过简单的线性函数建模。这种方式不仅简化了位置编码的复杂性，还提高了模型的灵活性。也因为 ALiBi 不需要显式地计算每个位置的偏置，特别是在长序列中，其计算效率更高，能够在资源有限的情况下处理更长的输入。
2025-05-02 11:42:28
735
原创 StreamingLLM：让LLM拥有无限长生成能力
在流式场景（如多轮对话或实时处理无限长输入）中，传统方法（如滑动窗口或重新计算 KV）要么效率低下，要么丢失上下文。StreamingLLM 提出了一种创新方法，旨在让 LLM 在不改变上下文窗口大小的情况下，高效处理无限长输入。
2025-04-30 18:13:42
687
原创 提示词工程（GOT）把思维链推理过程图结构化
相比于COT, TOT 思维图 Graph of Thoughts（GOT）是一种有助于增强模型推理能力和可解释性的方法，通过结构化的信息表示，促进多层次和动态的思考，能够有效应对复杂的自然语言处理任务。基于问题特点，我设计了一个多层次的 GoT，目标是全面解决这个问题，同时展示 GoT 的复杂性和灵活性。问题：“一个商店的商品原价是100元，打八折后卖出，再加上10元的运费，问最终价格是多少？：通过跟踪不同的思维路径，GOT 可以帮助模型探索多种可能的解决方案，而不仅仅是单一路径。：验证结果后改进答案。
2025-04-30 15:32:46
813
原创 yolov8+kalman 实现目标跟踪统计人流量
流程图步骤代码实现相关函数/类DetectionsSort.update 的输入 detsIoU Match创建新 KalmanBoxTracker删除长时间未匹配的跟踪器输出当前帧的跟踪结果。
2025-04-28 15:26:08
1393
原创 kylin v10 + argo + ascend 310p多机多卡 pytorch distributed 训练
我们在训练分布式时候，会使用到 torch.distributed.launch可以通过命令，来打印该模块提供的可选参数 python -m torch.distributed.launch --helpnnodes：节点的数量，通常一个节点对应一个主机，方便记忆，直接表述为主机node_rank：节点的序号，从0开始nproc_per_node：一个节点中显卡的数量。
2025-04-28 10:34:34
779
3
原创 VBA 调用 dll 优化执行效率
参数router：用于构建 API URL 的路径部分。函数首先定义了 API 的基本 URL，并将router参数附加到 URL 末尾。初始化变量：创建多个变量，包括用于存储 HTTP 请求对象、工作表对象、数据范围、快照字典等。遍历工作表函数遍历当前工作簿中的每个工作表，获取每个工作表的最后一行和最后一列的索引。如果工作表中有数据，创建一个字典sheetData来存储每个单元格的值和格式。收集数据使用双重循环遍历每个单元格，记录其地址、值和格式，并将它们添加到sheetData字典中。
2025-04-19 20:08:33
796
原创 ktrun 安装 ktransformers 并运行 DeepSeek-R1-UD-Q2_K_XL
KTransformers 是一个清华开源的LLM部署框架，主要用于优化大型语言模型（LLM）的推理过程。它通过先进的内核优化、GPU/CPU 异构计算和并行策略，显著提升模型推理速度并降低硬件需求。
2025-04-16 15:25:14
1143
原创 vanna + qwq32b 实现 text2SQL
Vanna 是一个开源的 Text-2-SQL 框架，主要用于通过自然语言生成 SQL 查询，它基于 RAG（Retrieval-Augmented Generation，检索增强生成）技术。Vanna 的核心功能是通过训练一个模型（基于数据库的元数据和用户提供的上下文），然后让用户通过自然语言提问来生成对应的 SQL 查询。它支持多种数据库和前端界面。
2025-04-10 20:38:44
926
原创 UniK3D: 高精确通用单目Camera 3D 重建
UniK3D是一个用于单目3D几何估计的新框架，可以处理任何相机设置，从针孔到全景。它引入了一个完全球形的输出表示来建模3D场景，这允许更好地分离相机和场景几何。论文地址。
2025-04-09 11:41:16
1064
原创 ansible 实现达梦7数据库初始化数据脚本写入
关于使用ansible 对ARM版达梦7的k8s自动化部署参考我的这篇操作ansible-playbook 写arm版达梦7数据库的一键安装脚本-CSDN博客达梦官方提供镜像目前是dm8_x86 版本，因为众所周知的国产化方面的需求，需要在kylin v10机器上部署一个DM数据库以及其他使用数据库的服务，为了更便捷的交付需要把安装步骤都写入到ansible 脚本里，这里就单说下DM 的部署。下面进入另一个需要解决的问题，如何使用ansbile 实现达梦7数据库初始化数据脚本写入。
2025-04-08 16:08:12
1038
原创 ansible-playbook 写arm版达梦7数据库的一键安装脚本
达梦官方提供镜像目前是dm8_x86 版本，因为众所周知的国产化方面的需求，需要在kylin v10机器上部署一个DM数据库以及其他使用数据库的服务，为了更便捷的交付需要把安装步骤都写入到ansible 脚本里，这里就单说下DM 的部署。
2025-04-03 14:20:27
365
原创 diffusion-vas 提升遮挡区域的分割精度
初始化：加载模型、设置路径。数据准备：加载掩码和 RGB，生成深度图。无模态分割：用 pipeline_mask 预测无模态掩码，保存掩码及叠加结果。模态 RGB：处理并保存模态 RGB。内容填充：用 pipeline_rgb 生成无模态 RGB，保存 RGB 及叠加结果。图形模型代码确识看的费劲，比大模型技术要复杂费脑的多，就看到这里直接开始测试t=P1C7t=P1C7。
2025-04-02 11:41:43
1027
原创 k8s pod security context 总结笔记
securityContext 是 Kubernetes 中用于设置 Pod 或容器安全相关设置的重要字段，可以帮助限制 Pod 或容器的权限，提升安全性。总结下 列出的 securityContext 字段及其含义。
2025-04-01 17:01:30
723
原创 Minimind 训练一个自己专属语言模型
发现了一个宝藏项目， 宣传是完全从0开始，仅用3块钱成本 + 2小时！即可训练出仅为25.8M的超小语言模型最小版本体积是 GPT-3 的 17000，做到最普通的个人GPU也可快速训练trlpeft训练数据集下载地址创建./dataset目录, 存放训练数据集，该里清洗出字符<512长度的大约1.6GB的语料直接拼接而成关于“， 它是一个完整、格式统一、安全的大模型训练和研究资源。
2025-04-01 16:27:51
1791
原创 测试 SpatialLM 空间语义识别
之前使用sam-vit-base 辅助检测但是因为技术上还涉及到寻找prompt point , 大概率还是得通过视觉识别去找点。咨询方让我考虑下还有没有其他可行的方式，目前距离投标还有一段时间，正好借着这段时间研究下视觉圈前沿的模型成果。正好在社区翻看到篇 SpatialLM Introduction的简介。
2025-03-26 15:31:58
765
1
原创 HAMi 实现Ascend 训练卡虚拟化步骤
最近长沙跑了半个多月，跟甲方客户对了下项目指标，许久没更新回来后继续研究如何实现 grafana实现HAMi vgpu虚拟化监控，毕竟合同里写了需要体现gpu资源限制和算力共享以及体现算力卡资源共享监控先说下为啥要用HAMi吧， 一个重要原因是公司有人引见了这个工具的作者， 很多问题我都可以直接向作者提问。咨询了HAMi的作者，hami-plugin在纯升腾环境本来就不用装，需要装的是这个。HAMi 对华为昇腾卡的多卡支持上的叉叉，说的是支持多卡，但不支持多卡虚拟化。卡上配置310P和910是不同的。
2025-03-21 14:07:41
935
1
原创 早起读论文，当Transformers 不再需要归一化
听起来十分的不可思议，听起来好像不太可能，归一化在所有的深度学习框架里都出现过，算是基石一般的存在，在 Transformer 模型中，归一化层主要是指层归一化（Layer Normalization）。我们的工作挑战了归一化层对于训练现代神经网络是不可或缺的这一概念，并提供了对归一化层属性的经验性见解。喔，这个发现真是太关键了，想想看如果归一化层最后干的活和Tanh函数差不多，那为什么不直接用Tanh 呢，但是普通的Tanh不够灵活，所以论文团队搞出了一个升级版的Tanh函数， 动态Tanh(DyT)
2025-03-19 15:24:22
1019
原创 理解大模型的function call ，思维链COT和MCP 协议
在大模型中，是指模型调用外部功能或工具以完成特定任务的过程。这种机制使得模型不仅能生成文本，还能执行特定的操作，如生成图像、获取数据或进行计算。
2025-03-18 15:05:26
1672
原创 浅分析 PE3R 感知高效的三维重建
近期，二维到三维感知技术的进步显著提升了对二维图像中三维场景的理解能力。然而，现有方法面临诸多关键挑战，包括跨场景泛化能力有限、感知精度欠佳以及重建速度缓慢。为克服这些局限，我们提出了感知高效三维重建框架（PE3R），旨在同时提升准确性与效率。PE3R采用前馈架构，实现了快速的三维语义场重建。该框架在多样化的场景与对象上展现出强大的零样本泛化能力，并显著提高了重建速度。在二维到三维开放词汇分割及三维重建上的大量实验验证了PE3R的有效性与多功能性。代码开源在。
2025-03-17 13:51:24
737
原创 基于openmanus框架 接入qwq32b
OpenManus 的智能体编排工具核心在于如何协调智能体、LLM 和工具完成任务。运行方式包括 python main.py 或 python run_flow.py（不稳定版），体现了其灵活的执行入口。
2025-03-15 17:36:22
973
原创 解决rancher-agent创建serviceaccounts “cattle“ is forbidden: unable to create new content in namespace
某日rancher 上出现某个之前连接的节点Unavailable了，按照惯例删除重建粘贴执行创建cattle-agent 命令报错查了下问题说错误信息表明你在尝试创建一个名为的部署时遇到了问题。给出的解决方式很暴力就是删除重建。
2025-03-13 12:22:40
965
原创 Qwen/QwQ-32B 基础模型上构建agent实现ppt自动生成
关心Qwen/QwQ-32B 性能测试结果可以参考下官方宣传上是该模型性能比肩满血版（671B）！我们实现一个 使用Qwen/QwQ-32B 自动生成 PowerPoint 演示文稿的需求，基于 Qwen/QwQ-32B 的自动化 PPT 生成 Agent，带有一个简单的用户界面。以下是一个使用 Python、Gradio（用于界面）和 python-pptx（用于生成 PPT）的实现方案，先利用提示词工程实现一个简单的ppt生成。
2025-03-10 14:13:09
1513
原创 DeepGEMM 论文和实现浅析(二)
之前报错的原因正是由于 deep_gemm 代码尝试调用 TMA 相关的功能（例如 get_col_major_tma_aligned_tensor），而 RTX 4090 不支持这些操作，导致 result!= CUDA_SUCCESS 的断言失败。代码包含三个主要的测试函数，分别测试普通 GEMM、分组连续 GEMM 和分组掩码 GEMM 的功能。这两个函数将输入张量从 bfloat16 转换为 float8_e4m3fn (FP8 格式，4-bit 指数，3-bit 尾数，无 NaN)。
2025-03-07 17:04:43
794
原创 Aws batch task 无法拉取ECR 镜像unable to pull secrets or registry auth 问题排查
子网：确保任务运行所在的子网能够访问公网（如果使用 NAT 网关或 Internet 网关）或私有 VPC 端点（如果配置了 ECR 的 VPC 端点）。如果使用私有子网，确保有 NAT 网关或 VPC 端点连接到 ECR。检查子网的路由表是否正确指向 NAT 网关或 VPC 端点。安全组：任务的安全组需要允许出站流量到 ECR 的 HTTPS 端口（443）。验证安全组规则是否允许出站 TCP 443 到 54.180.184.245（或更广泛的 ECR IP 范围）。
2025-03-06 22:16:20
937
原创 DeepGEMM 论文和实现浅析(一)
deepseek 被誉为榨干中低端英伟达显卡的利器， 论文地址论文提出了DeepGEMM，这是一种在CPU架构上加速超低精度推理的新方法，使用查找表。关键思想是预先计算所有可能的权重和激活的乘积，将它们存储在查找表中，并在推理时高效地访问它们，以避免昂贵的乘法累加操作。试验证明在x86平台上的性能优于QNNPACK框架中相应的8位整数内核，最高可达1.74倍。本文深入探讨了DeepGEMM算法，包括不同打包方案和矢量化实现的细节。
2025-03-04 17:15:37
1026
原创 使用sam-vit-base 模型在caltech256 数据集上实现图片召回
关于sam-vit-base 的使用可以参考我的另一篇文章sam-vit-base 辅助检测卡车的可拽雨覆完全覆盖-CSDN博客。
2025-03-02 20:55:37
986
原创 sam-vit-base 辅助检测卡车的可拽雨覆完全覆盖
还是续着这个需求做技术预研DINOv2 + yolov8 + opencv 检测卡车的可拉拽雨覆是否完全覆盖-CSDN博客加载 DINOv2 主干网络并冻结参数# 添加分割头，适配 518x518 输入# 从 DINOv2 提取特征并通过分割头生成分割结果作用定义基于 DINOv2 的语义分割模型，使用预训练的 ViT（Vision Transformer）作为主干网络，冻结其参数以减少计算量。
2025-02-26 16:51:32
1022
原创 原生稀疏注意力NSA 替换transformer 注意力进行文本生成训练
self,dim,dim_head,heads,):# rotary# qkvdim: 输入特征的维度。dim_head: 每个注意力头的维度。heads: 注意力头的数量。: 滑动窗口的大小，用于局部注意力。: 压缩块的大小。: 选择块的大小。: 选择的块数量。: 压缩的记忆键值对数量（默认为 4）。norm: 是否使用归一化（默认为True: 是否使用不同的 Top-k 策略（默认为False头部和缩放heads保存注意力头的数量。scale。
2025-02-24 16:45:15
866
2
原创 解决 kubeasz 安装k8s集群跨节点pod 无法使用cluster ip通讯问题
使用搭建k8s集群后使用的配置文件k get node 看到所有集群节点在多节点部署前端服务时发现nginx pod里发现跨节点请求出现connect to 10.68.94.12 port 39000 failed: No route to host ， 其中10.68.94.12 是clusterIp, dns解析是正确的。
2025-02-24 13:48:29
998
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人