- 博客(871)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 autoResearch 官方项目复现笔记
人类不直接写 py 源代码, 而是 为 智能体 提供一个规模不大但功能完备的语言模型训练环境，并让它在夜间自主进行实验。
2026-06-03 19:50:24
190
原创 LLM 的关键技术(模型架构, 训练与推理)
摘要： BBPE（Byte-level BPE）是一种从字节级别构建词表的分词方法，通过合并高频字节对逐步形成词表，彻底解决未登录词问题。主流大模型（如GPT、LLaMA、Qwen）均采用此方法，通过扩大词表（如Qwen词表达15万）确保中文等多语言的高效编码。BBPE初始会将汉字拆为字节，但训练中会重新合并为完整token，兼顾编码效率与字符覆盖能力。
2026-04-30 11:47:09
74
原创 nodejs 介绍
Node.js是基于Chrome V8引擎的JavaScript运行环境，使前端开发者也能编写本地程序。其特点包括非阻塞异步I/O、事件驱动、跨平台兼容性以及强大的npm生态。安装可通过官网下载Windows安装包。npm作为Node包管理器，会将安装的包存储在用户目录的AppData/Roaming/npm文件夹中。
2026-04-06 22:35:45
149
原创 OpenClaw/Hermes 等本地优先的 ai-agent 助手
AI 助理在 2025 年已经全面普及，由 ChatGPT 率先破圈引爆大众使用热潮. 它们以云端浏览器交互为主，只能接收 图/文/附件, 根据用户提问给出文字回答, ai 只动嘴不动手., 是指 OpenClaw 直接接管了你的电脑, 能 操作本地文件、浏览器自动化、定时任务调度、系统指令执行等.它还能接受, 即人不在家也能通过 聊天软件 (飞书 / 微信 / 钉钉) 远程指挥家里电脑上的 OpenClaw.但 openClaw 背后的, 需要购买 大模型服务.
2026-04-06 08:49:56
162
原创 AI编程 发展史与工具(cursor, claude code, codex)介绍
AI编程正经历从辅助协同到自主代理的演进。当前阶段，AI可完成代码补全、文件生成、代码解读等任务，并逐步发展为能跨文件修改的工程级代理。未来发展方向是让AI具备AST（抽象语法树）深度理解能力，实现语义级编程推理。为突破大模型上下文限制，需要智能文件检索、渐进式上下文构建和高效压缩等技术。人类角色正从编码者转变为需求定义和结果审查者。
2026-03-29 14:17:40
236
原创 数据仓库分层体系
表前缀： ods_核心职责： 数据引入层，与源业务系统保持同构，完成原始数据的采集和备份。特点： 数据是原始的、未经清洗的，可能存在数据质量问题。通常只做简单的字段脱敏和格式转换。
2026-03-17 16:43:47
273
原创 大模型 ai 应用热门概念
摘要：大语言模型(LLM)作为对话系统核心，通过prompt生成文本回复。在此基础上，Agent赋予了LLM调用工具执行动作的能力，包含任务规划、工具调用、记忆存储和自检修正四大组件。例如面对数学计算时，Agent能像人类一样借助计算器获得精确答案，而不仅是近似回答。这种架构展现了从被动对话到主动执行的智能化演进。（99字）
2026-02-08 12:22:37
250
原创 app信息流中的重排与强化学习
摘要：本文探讨了互联网推荐系统中传统top-K排序的不足，提出了三种优化策略。首先分析了多样性策略，包括MMR打散和基于DPP（行列式点过程）的算法，提供了Python实现代码示例。其次提到生成式混排方法（待补充）。最后介绍了强化学习在推荐中的应用框架，将排序视为马尔可夫决策过程，通过用户反馈优化会话级指标。这些方法旨在解决用户兴趣漂移和浏览疲劳问题，提升推荐效果。
2025-10-10 18:01:09
382
原创 sql 中的 over, group 窗口函数
SQL窗口函数摘要： 作用场景：在保留原行数的同时附加计算，用于排名、累积和、环比分析等 核心语法： OVER()定义计算窗口 可选PARTITION BY分组（类似GROUP BY但保留所有行） 可选ORDER BY定义窗口内排序 典型应用： 计算占比（全表为分母） 生成累积值（有序累计） 执行顺序：窗口函数在GROUP BY之后、SELECT之前执行 特点：通过OVER()实现"行级计算"而不聚合结果，适合分析型查询
2025-09-11 15:41:24
514
原创 蒸馏学习 Knowledge Distillation
本文介绍了知识蒸馏技术及其应用。知识蒸馏是一种模型压缩方法，通过让小型学生模型学习大型教师模型的输出，在保持性能的同时显著减少计算资源需求。该方法适用于将云端大模型（如ResNet-152、BERT）压缩为移动端小模型（如MobileNet、TinyBERT）。核心原理包括： 利用教师模型的软标签（概率分布）传递"暗知识"； 设计联合损失函数（任务损失+KL散度蒸馏损失）； 特征蒸馏扩展，通过对齐中间层特征提升学习效果。该技术能有效平衡模型性能和部署效率。
2025-09-09 15:38:15
1149
原创 accelerate transformers 搭配下的 torch gpu 并行加速
自己写的 model, 在使用 transformers 框架中的 Trainer 训练时，是会默认使用 gpu 的。前提是 显卡，cuda，等环境已就绪。原理是 Trainer 类中的 _move_model_to_device（） 和 _prepare_input（）方法。
2025-06-05 11:43:30
518
原创 互联网竞价广告基础知识
广告主, Advertiser, 付费推广自家产品.广告平台媒体, 提供广告展示的流量资源, 如app的信息流广告, 朋友圈的广告用户. 使用app中会看到广告的人.
2025-04-24 11:45:13
778
原创 transformers 预训练模型的 PreTrainedTokenizer
预训练模型用的 PreTrainedTokenizer 需要完成 truncate, [pad] 以便保证 batch 内的序列长度统一. 还需要搭配相应的 attention mask 来标记 pad 的位置, 以便在计算自注意力时忽略填充部分，避免引入噪声信息。它不再属于 hugging-face 出品的独立 tokenizer 库, 而是归属于 transformers 库, 位于。
2024-12-18 15:22:33
568
原创 torch 内置 attention (sdpa) 实现
transformer 架构的 qkv-attention 太流行了, 以至于 torch 官方直接给出了 C 实现, 位于 torch._C._nn.py, 性能更高.
2024-12-16 15:13:29
1184
原创 LLM 幻觉现象及 RAG 解决方案
RAG（检索增强生成）结合了外部知识检索与大语言模型生成能力，有效解决LLM的幻觉、知识局限性等问题。当用户提问时，系统先检索相关文档片段作为上下文输入LLM，再生成回答，适用于客服、法律咨询等场景。典型流程包括：提问→向量检索→拼接Prompt（指令+上下文+问题）→LLM生成回答。这种方法既保留了LLM的表达能力，又通过外部知识增强了回答的准确性，未来可与Agent结合实现更智能的AI助理。
2024-01-03 11:10:56
1237
原创 GPT-2 笔记及简明源码
open ai 出品, 与 google 的 bert 系列 是不同的任务, NLGeneration vs. NLUnderstanding.
2023-08-28 11:43:10
2327
原创 tensorflow 中的 gradient 与 optimizer
Optimizer.`minimize`(self, loss, global_step=None, var_list=None, ...)返回一个 train_op, 运用优化方法求损失函数的极小值. 它其实是以下两个 api(梯度计算与参数更新) 的封装. 当我们想在二者之间做一些自定义操作时, 就可以显式地分开调用
2023-07-12 15:29:20
1956
原创 pytorch 中的数据集与多进程并发
需要 Dataset + collate_fn + Sampler + DataLoader 联用, 才等价于 tf 的 dataset.
2023-06-20 14:58:53
2423
1
原创 train loop in transformers for torch
工作较为琐碎. 我用 train loop 统一代指, 因为主流程在内, 是一个 loop.transformers 是一个流行的预训练模型库, 我想学习并复用它的 train loop 设计.
2023-05-29 11:45:27
2757
原创 LoRA, 替代 fine-tune 的轻量级低秩分解
LoRA, Low-Rank Adaptation of Large Language Models, 大语言模型的低秩适配器. 这里的秩就是通用的最大线性无关组个数这样的定义.适用场景: 用 Lora 来替代大模型的常规 fine-tune.
2023-05-15 16:12:24
2514
2
原创 AIGC 文生图及 stable diffusion webui 练习笔记
第一步, 拉git仓库第二部, 进入项目目录, 运行 webui.bat (linux 为 webui.sh). 它会安装 venv 虚拟环境, 还会试运行。
2023-04-28 18:30:13
1275
原创 LLM 中的 prompt 工程
NLP 中, 一种用于 Language Model 的 Pretrained Task 范式.前辈的特点是让模型通过去适配这些任务. 流程是 “pre-train, fine-tune, and predict”.而 prompt 的思路则与此相反, 调整预训练任务的形式(Reformulate), 使其更接近于原始预训练任务(如 完形填空). 流程是 “pre-train, prompt, and predict”.
2023-02-16 11:09:18
1463
原创 公务员考试要求及流程梳理
以我所在的浙江为例, 网址见参考[1].公务员考试录用入口.公务员公开遴选入口. 报考对象是基层公务员群体, 通俗理解就是从公务员队伍中，继续再晋升报考更好单位的公务员.公开选调入口. 报考对象是应届大学本科毕业生，他们的身份还不是公务员。而且选调生入职后更多扎根基层，作为党政机关重点培养的干部后备人选。
2022-12-15 20:43:23
1926
原创 python profile 性能分析
自己写了一个小型项目, 写完发现运行一次要好几秒, 瓶颈在哪呢?有无优化空间?涉及到的对象比较多, 方法间的嵌套和递归调用也不少, 很难手工打印时间戳去分析耗时. 此时就需要专业工具啦.
2022-11-24 16:11:05
1621
原创 pytorch autograd 自动微分与梯度更新
pytorch 内置了常见 tensor 操作的求导解析解. 从 loss 到 parameter 是若干个 op 叠加起来的复合函数, 所以用链式法则逐个计算.tensor.grad_fn 记录了一个 tensor 是由何种运算产出的, 以及相应的求导解析解.
2022-09-20 17:55:22
1494
原创 py 用 playwright 做 web自动化测试
web 自动化测试, 是指用 运行代码的方式, 在浏览器中完成对网页的指定的操作, 解放双手与眼睛.
2022-08-12 17:36:27
1913
原创 volvo s60 T4 2021款 使用手册
图: 千斤顶位置图：千斤顶头部为 圆形凸块图: 左前轮的位置标示, 整体图图: 左前轮的位置标示, 局部特写图图: 底部视角, 圆孔可对应 千斤顶的凸起, 是受力的地方官方手册中有两处是错误的.见下图.图. 手册中的错误1为:千斤顶的头部为圆形凸块而非凹槽; 错误二为底盘样式不符且支点是圆孔而图中描述的红色条块.......
2022-06-25 15:26:50
1372
原创 统计图表之桑基图 sankey diagram
一种展现能量流动的图表. 典型场景有:网上搜, 大多是付费软件的引流, 博主良心整理出无套路的 即用即走 在线工具.参考[1]的界面参考[2]的界面
2022-06-23 11:13:07
1002
DirectSound开发手册
2013-02-01
win7防音量过大自干预程序_ vs2010完整解决方案.zip
2013-09-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人