- 博客(98)
- 收藏
- 关注
RSS订阅原创 不同 QPS 场景下的服务部署架构指南（实战经验总结）
本文系统介绍了后端系统处理高并发请求的关键指标QPS及其应用实践。首先明确QPS的计算方法，区分QPS与并发量的概念差异，并给出行业通用的DAU与并发量映射关系。针对不同QPS量级，提供了详细的部署架构建议：从QPS≤100的单机简单部署，到QPS 5000+的全国级分布式架构，重点分析了500-2000QPS这一典型场景的优化策略。特别针对推荐系统这类IO密集型服务，给出了单机安全QPS参考值（4C机器200-400，8C机器400-800），并总结出"目标QPS÷单机安全QPS≈所需机器数量&
2025-12-11 11:17:19
850
原创 可灵图片生成通用使用指南
可以借助大模型直接来写（本人使用的是chagpt pro，其他没测试过），只需要告诉大模型大概，如果不满意，把生成图片和不满意的地方发给大模型，让大模型修改，很高效。例如我要把这棵树改成一颗小树，直接局部重绘你会发现还是一颗大树，但是删除再生成就可以。先用用消除笔去掉，然后再局部重绘要OK的多，直接局部重绘失败概率极高。还是PS之类的工具靠谱，推荐，AI自动帮忙抠，而且免费。用消除笔比局部重绘要OK的多。想生成背景为空的一个内容元素。
2025-12-05 14:30:09
264
原创 常用 Linux 命令大全（文件、网络、时间、进程、数据库、工具全覆盖）
本文整理了Linux系统操作中最常用的命令，涵盖文件处理、VIM操作、网络管理、系统监控等场景。主要包括：文件拆分/合并（split/cat）、压缩解压（tar/zip）、远程传输（scp/sftp）、批量查找替换（find/sed）、vim快捷键、定时任务（crontab）、网络工具（curl/iptables）、进程管理（lsof/kill）、磁盘检查（df）、Docker操作等。每个命令均附带实用示例和参数说明，特别适合作为日常工作的速查手册，能有效提升Linux环境下的操作效率。
2025-11-19 20:53:38
1858
原创 大模型 + 字形理解：Glyph-OCR 带来的 OCR 新范式
摘要：GlyPh-OCR提出了一种创新的字形识别方法，通过将字符视觉信息离散化为glyph tokens，使模型能真正"看懂"字形结构。其核心流程包括字符检测、切割、字形编码和语言模型推理三大模块，形成模块化OCR pipeline。相比传统OCR，GlyPh-OCR在模糊文字、异体字识别方面表现优异，特别适合古籍、低清图像等场景。虽然不具备文档级理解能力，但解决了字形识别的本源问题，与DeepSeek-OCR等端到端模型形成互补。该技术强调字形理解而非单纯文本推断，为OCR领域提供了新
2025-11-19 20:24:55
761
原创 DeepSeek-OCR：10倍光学压缩新范式
DeepSeek-OCR 提出了一种创新的视觉-文本压缩架构，通过第一性原理探索人类阅读本质，将图像作为输入实现"一目十行"的效果。其核心架构包含：1）DeepEncoder，由SAM-base（局部注意力）、16×Token Compressor（CNN压缩）和CLIP-Large（全局语义）组成，可将高分辨率文档压缩为64-800视觉tokens；2）DeepSeek-3B-MoE Decoder，通过自回归方式从压缩视觉tokens恢复文本、布局等结构化信息。该模型实现了10×压缩
2025-11-19 11:36:51
782
原创 特征交叉-XdeepFM&CIN
CIN 是一种基于 outer product 的显式高阶交互网络，通过卷积权重实现维度压缩，表达能力强于 DCN，可看作显式 Polynomial 交叉的升级版。它在工业界（广告、推荐）已有实际落地，与 FM、DeepFM、DCN 一起构成现代 CTR 模型的主干体系。2. tensorflow实现(论文git)3. torch实现4. 读了那么多CTR论文, 真正有效的又有几个呢？
2025-11-18 18:25:32
496
原创 一文说明推荐系统特征交叉方法
推荐系统排序模型的特征交叉方法主要分为非参数和参数式两类。非参数方法包括笛卡尔积、内积/外积和哈达玛积，其中内积最为常用。参数式方法包括FM（显式二阶交叉）、DNN（隐式高阶交叉）、DCN（显式多阶交叉）、Bilinear Cross（双线性交互）、CAN（动态参数交叉）、PNN（乘积交互）和CIN（显式高阶压缩交互）。此外，样本维度的特征交叉如MaskNet通过全局mask实现交互。这些方法在推荐系统中各有优劣，FM和DNN应用最广泛，而DCN、CIN等显式高阶交叉方法在特定场景效果显著。特征交叉技术的演
2025-11-18 18:16:41
751
原创 End-To-End之于推荐-快手OneRec系列三(OneRec-Think)
快手OneRec系列引入大语言模型推理能力，通过COT(Chain of Thought)技术提升推荐效果。该框架包含三个核心模块：Itemic Alignment使LLM理解Item语义；Reasoning Activation让模型先思考再推荐；Reasoning Enhancement捕获用户偏好多样性。实验使用1.29%流量测试，APP停留时长提升0.159%。关键技术包括多任务预训练实现ID与文本对齐、基于上下文的推理激活等，使推荐系统具备可解释性。该方法将推荐从黑盒预测转变为可推理过程，在保持大
2025-10-28 22:30:59
1091
原创 LLM之于推荐-RecGPT(阿里关于大模型召回的实践)
阿里提出基于大语言模型的推荐系统RecGPT，通过三塔模型架构实现召回效果提升。系统包含用户兴趣挖掘、商品标签预测和推荐归因三大模块，利用大模型能力将用户行为和属性转化为结构化兴趣标签。创新点包括：1）引入Tag塔学习语义相关性；2）分阶段生成用户兴趣和商品标签；3）采用行为序列压缩和模型微调优化方案。实验表明CTR等核心指标提升超5%，并验证了DeepSeek等开源模型的有效性。系统还设计了LLM自我评估机制，通过人工-模型协同实现持续优化。该方案显著提升了推荐系统在召回阶段的效果和多样性。
2025-10-22 12:04:24
1124
原创 推荐&投放面试宝典
AUC/PR、NDCG/HitRate、回归 RMSE/MAE、业务指标（CTR/CVR/GMV/时长）。：L1 稀疏、L2 防过拟合、Dropout/早停；
2025-10-22 09:25:26
672
原创 深度强化学习之123-概念梳理
摘要： 马尔可夫决策过程（MDP）是强化学习的核心数学模型，由五元组（状态空间、动作空间、状态转移概率、奖励函数、折扣因子）构成。MDP描述智能体在环境中通过策略π选择动作，产生轨迹并获得奖励的过程，其随机性体现在环境转移、策略选择和奖励噪声上。强化学习的目标是找到最优策略π*，最大化长期折扣回报，通过价值函数（V函数和Q函数）评估状态和动作的优劣。最终，MDP为强化学习提供了形式化框架，帮助智能体通过优化策略实现目标。
2025-10-20 10:33:12
657
原创 工业级推荐系统：召回融合
召回融合虽然鲜少出现在论文或开源库里，但它恰恰是推荐系统中决定流量格局的关键环节排序只是“打分”召回融合才是“给谁打分”它往往蕴含着策略、权重、优先级和冷启动扶持，是平台的“调流神器”。⚡ 一个聪明的召回融合策略，能带来的 CTR/CVR 提升，往往不输换一个排序模型。
2025-10-16 10:34:31
938
原创 ChatGPT From Zero To Hero - LLM学习笔记(一）
本文概述了从零训练ChatGPT的完整流程：1)预训练阶段包括数据爬取、分词（BPE编码）和神经网络训练；2)监督微调阶段通过对话数据优化模型，提出使用工具检索解决幻觉问题；3)SFT阶段通过"刷题训练"提升专业能力。文中推荐了nanoGPT、trl等实践资源，并指出模型存在拼写/计数等局限。完整训练需处理15万亿token数据，涉及无监督学习、监督微调和强化学习三个阶段。
2025-09-29 10:16:15
1534
原创 RecoWorld：用仿真环境加速下一代推荐系统
RecoWorld 的出现，标志着推荐系统从“离线指标驱动”迈向“在线仿真驱动”。更多真实用户特征的融入，使模拟更贴近真实分布多智能体交互，研究群体极化、信息扩散、创作者增长策略与生成式推荐结合，探索端到端的“指令驱动内容生成 + 分发”简而言之，RecoWorld 让推荐系统不再是“单向输出”，而是和用户进行深度对话、共同塑造信息流的智能体。
2025-09-29 09:38:35
990
原创 KL-Divergency，多样&探索
KL diversity 通常指，在信息论、机器学习和推荐系统中非常常见。它本质上是用 KL 散度来比较，以量化多样性或分布偏离程度。
2025-09-23 09:34:10
694
原创 特征交叉-RankerMixing(大模型时代的特征交叉)
在线效果Like、Finish、Comment 等互动指标也全线提升，对低活跃用户提升最显著，说明模型泛化能力强，说明LLM对传统ID类型推荐相比还是有知识优势。总结而言，性能效果全面领先。
2025-09-15 13:55:59
810
原创 Prompt工程实践
你在写prompt时候，是不是总觉得大模型它不听话。要么答非所问、要么一堆废话。扒开思考过程仔细阅读时而觉得它聪明绝顶，时而又觉得它愚蠢至极。明明已经对了怎么又推理到错的地方去了，明明在提示词中提醒过了不要这么思考它怎么就瞎想了。这也许就是每一个Prompt Engineer的困扰。怎么能让模型按照要求去思考。长提示词到底应该怎么写，有没有方法可以一次命中，找到那个终极的提示词。答案是否定的，一篇成功的长提示词总是要经历初始版本、调优、测试、再调优。不过这个过程中有规律可循，有方法可套。
2025-09-15 09:58:57
1022
原创 幻觉终结者：OpenAI 终于找到了根本原因
核心在于：让模型**敢于说“不知道”**比“瞎猜”更值钱。最近，OpenAI 正式揭开了大型语言模型（LLM）“幻觉”现象的真面目：原来问题不在于模型太“聪明”，而是它们的训练奖励机制本身，促使它们“自信满满地说错话”，却不愿诚实承认不知道。模型缺乏判断生成内容真伪的能力，特别是面对极少出现的单次事实，其错误可能率媲美其出现概率；设定规则：只有当模型置信度 > 某一阈值才作答，答错扣分，“我不知道”则不扣分。传统评估机制反而惩罚说“我不知道”，让模型宁愿浮夸地答错，也不甘承认无从得知。
2025-09-08 22:59:23
425
原创 视频推荐排序的样本工程化
→ 正样本有显式负反馈（点踩/不感兴趣） → 剔除p_i ≥ 3s且显式负反馈→ 强负低分位（q ≤ 0.1）→ 强负→ 弱负其余 → 中性（可不训练或弱采样）
2025-09-02 11:18:50
419
原创 End-To-End 之于推荐-kuaishou OneRec2 笔记
提出 Lazy Decoder-Only 架构，彻底移除 encoder，context 只作为静态条件输入，通过轻量 cross-attention 与 GQA（Grouped Query Attention）完成交互。：V1 的 Encoder-Decoder 架构里，97.66% 的算力都消耗在 context encoding，真正用于生成推荐结果的部分只有 2.34%，导致算力浪费、扩展性差。改进 RL 的 ratio clipping，结合 BCE 的稳定梯度，防止负样本导致梯度爆炸。
2025-09-02 10:32:29
1065
转载 从Banner，激励视频到互动广告，一文了解互联网广告的主要形式
我们看到，现代互联网广告形式早已突破“横幅 + 链接”这种传统思路，逐渐演化出内容化、互动化、游戏化、剧情化等多元模式。这些广告形式在视觉样式、交互设计、曝光路径上各不相同，但它们背后的共同点，是都服务于两个核心目标：提高用户参与度（Attention）和提升转化效率（Conversion）。而为了实现这两个目标，广告系统必须在广告样式、素材质量、定向能力、排序机制等多个维度上进行深度优化。
2025-08-05 10:11:11
204
原创 Git 分支协作与变基流程实战：使用 stash、安全 rebase、同步主干的最佳实践
本文介绍了使用 stash + rebase 同步分支的推荐工作流：1）先 git stash 暂存未提交内容；2）更新 master 分支代码；3）切换回开发分支执行 git rebase master；4）通过 git stash pop 恢复工作内容；5）提交并推送修改。重点讲解了如何安全处理 rebase 冲突及 stash 操作技巧，同时提醒注意强制 push 的风险。该流程能保持分支历史清晰，减少合并冲突。
2025-07-10 16:04:25
590
原创 从 .proto 到 Python: 使用 Protocol Buffers 的完整实践指南
Protocol Buffers (protobuf) 是一种高效的跨语言数据序列化协议，相比JSON/XML具有体积小、速度快、强类型等优势。使用流程包括：定义.proto文件结构→protoc编译生成Python代码→业务代码调用。示例展示了视频历史数据的proto定义、Python序列化/反序列化操作，以及Redis存储的两种方案（string整体存储或list分条存储）。最后提供了Redis封装的实用建议，包含数据追加和读取的完整实现，特别适合需要高性能数据存储的场景。protobuf在Redis中
2025-07-08 17:28:13
664
原创 End-To-End 之于推荐-kuaishou OneRec 笔记
OneRec 提出了一种，打破了传统“召回-粗排-精排”级联式推荐流程，使用同时完成召回与排序任务。该系统由快手团队研发，并成功部署于短视频主场景。
2025-06-27 18:57:51
1848
原创 推荐系统的视频特征-视频关键帧特征提取与向量生成
CLIP（Contrastive Language-Image Pretraining）适合推荐系统做。可直接用于用户-视频召回、相似度检索、排序模型等模块。你可以配合视频标签、标题、评论等文本用 CLIP 提。，对视频封面帧或场景帧提取效果非常好。
2025-06-26 19:14:43
553
原创 视频关键帧提取
视频关键帧提取技术指南 本文介绍两种视频关键帧提取方法： 1️⃣ FFmpeg：基于编码结构提取I帧（完整图像帧），通过分析帧头信息识别关键帧，适合快速获取画面基准点。 2️⃣ SceneDetect：基于视觉内容变化检测场景切换，使用直方图/亮度差异分析语义关键帧，适合内容分析场景。 📌 对比特点： FFmpeg效率高但不考虑语义，SceneDetect需解码帧但更贴合内容变化 实际应用可结合两者，如FFmpeg获取基准帧后，用SceneDetect筛选语义关键帧 🔧 附实战脚本：支持自动分目录输出两
2025-06-26 19:06:08
2073
1
原创 Torch分布式训练-DDP实战
本文介绍了PyTorch分布式训练(DDP)的核心原理与实现。主要内容包括： DDP通过AllReduce机制实现多GPU梯度同步，确保模型参数一致性 对比了不同分布式训练方式，推荐使用DDP作为标准方案 详细解析了DDP的梯度同步流程和优化原理 提供了使用Docker搭建分布式训练环境的实践指南 包含网络配置、容器启动和代码示例等实战内容 DDP作为PyTorch官方推荐的分布式方案，能有效利用多GPU资源加速训练，特别适合大规模深度学习任务。该技术通过自动同步梯度而非参数的方式，保证了训练的高效性和稳定
2025-06-26 10:40:25
1174
原创 如何挑选真正的白马股？从PE、ROE到净现比、收现比全面理解
摘要：真正的白马股需满足三个关键指标：1）合理市盈率（PE），关注估值与成长空间的匹配度；2）长期稳定的高净资产收益率（ROE），维持在15%以上为佳；3）现金流质量，净现比和收现比大于1，确保利润真实可靠。符合"三高一稳"（合理估值、高ROE、高现金流、业绩稳定）的公司极少，但能长期经得起周期考验的才是真白马。投资者应关注企业持续盈利能力和现金流质量，而非短期股价表现或市场故事。
2025-06-18 09:49:46
1028
原创 凯利公式在股票投资中的实用性：理论神器还是现实陷阱？
想象你带着1000元起始资金参加这样一个翻硬币挑战游戏，你可以选择一直玩下去：每轮抛一次硬币，抛到正面，财富增加 80%。抛到反面，财富减少 50%。听上去是个稳赚不赔的游戏！但现实是……如果让10万个玩家参加这个游戏，并让他们各自玩100轮，你会发现：他们的平均财富确实在指数增长，但绝大多数人最后的财富竟然不到72元，甚至破产！为什么平均财富是增长的，但大多数人却越玩越穷？这就是典型的非遍历性陷阱。总觉得再来一局就能翻盘，恰恰是因为我们误把群体平均当成了个体命运。
2025-06-12 17:52:12
890
原创 Langchain&RAG you need - 段落拆分
文章摘要：本文介绍了LangChain中6种文本拆分器，重点推荐RecursiveCharacterTextSplitter和MarkdownHeaderTextSplitter。RecursiveCharacterTextSplitter采用逐层回退策略（段落→句子→单词→字符），适合通用文本处理，支持中文优化配置。MarkdownHeaderTextSplitter专用于结构化Markdown文档，自动维护标题层级元数据。表格对比了6种拆分器的推荐度、使用场景和特性，其中RecursiveCharact
2025-06-05 22:11:55
1022
原创 深入浅出互联网归因分析模型(二)：Markov链与Shapley值模型详解与实战
数据驱动的归因模型通过分析用户转化路径中的触点贡献，帮助优化营销策略。Markov链归因模型通过删除触点并观察转化率变化，衡量触点的必要性，适合分析路径顺序和关键节点。Shapley值归因模型则基于博弈论，计算触点在所有组合中的平均边际贡献，适合评估触点的整体效益。两种方法各有侧重，Markov强调路径中的关键触点，Shapley则关注触点的平均贡献，实际应用中可互为补充，提供更全面的归因分析。
2025-05-21 19:27:18
1189
原创 深入浅出互联网归因分析模型(一): 6种常见的归因分析模型
在数字营销和推荐系统中，**归因分析（Attribution Analysis）**扮演着至关重要的角色。它帮助我们回答：用户完成转化前，到底是哪个渠道最起决定性作用？本文将系统梳理6种常见的归因分析模型，配以实际案例，并提供模型优化建议。在电商、APP拉新、投放优化中，我们常面临这样的疑问：用户通过搜索点击了广告，但他在三天前也点过一次公众号文章——是谁真正促成了这次转化？如果不清楚“谁功劳最大”，就无法有效分配营销预算，也难以优化运营策略。2.1 最后点击归因（Last Click Attribut
2025-05-21 18:08:48
1822
原创 互联网通用指标体系说明
本说明文档系统整理了互联网行业中常用的大盘指标，包括定义、作用、计算方式及应用场景，适用于产品分析、数据监控、运营决策等多个维度。VV（Video View，视频播放量）三、内容/视频平台指标。五、指标关系与应用场景。四、电商平台核心指标。
2025-04-24 15:44:20
1671
转载 pycharm + deepseek 实现curse功能
点击左侧“API Keys”，点击创建 API key，输出名称为“AI 代码提示”，也可以使用其它自定义的名称。插件安装成功后，在右侧的标签栏中，会显示一个Continue的标签，我们点击即可进入，随后点击设置按键，如下图。点击“创建"，一定要记录此处的 API key，可以先将 API key 复制在其它地方。打开PyCharm，打开文件->设置->插件，搜索“Continue”，点击安装。随后，我们将两处apiKey替换为先前保存的API key。等待插件安装完毕后，点击“应用”，插件安装成功。
2025-02-13 11:53:11
371
原创 特征交叉-CAN学习笔记&代码解读
两部分concat以后加一个DNN常规操作，看起来就像是用co-action做显式的特征交叉，然后DIEN做之前的序列建模。举个例子：如果是用户ID和产品ID的co-action，且产品ID是做induction，用户ID是做feed。
2024-12-11 10:43:34
788
原创 特征交叉-FiBiNet特征交叉原理与代码学习
两个field做交叉得到新的特征，比方把物品和用户地点做embedding，然后做交叉, 如果用inner product和hadamard乘积，必须维度一致，不一致的情况下，Bilinear引入了一个W矩阵，保证两者可以做交叉。SENet 虽然不是特征交叉方法，但是是在FiBiNet这个文章里一起出现的，就说明下，是一种field-wise加权，一共m个field。1）field维度的平均池化：每一个field做average-pooling，3）还原：再加一个linear+sigmoid还原成m维度。
2024-11-25 19:08:20
550
原创 特征交叉-MaskNet文章总结&代码实现
串行的第一个是一个MaskBlock on feature embedding，后面接的都是MaskBlock on MaskBlock；主要有两种使用，一个是对embedding进行处理，图里LN-EMB里的LN指的是Layer Normalization。所有特征都和Instance-guide-mask进行运算，可以是串行的也可以是并行的。1) 2) 结束之后，文章的核心内容也基本结束，后面3)是MaskBlock的应用。最终输出的是一个处理后的embedding向量，后面简称为mask。
2024-11-22 18:41:47
1437
原创 特征交叉-Deep&Cross Network学习
一 tensorflow官方实现tensorflow的官方实现已经是V2版本class Cross(tf.keras.layers.Layer): """Cross Layer in Deep & Cross Network to learn explicit feature interactions. Args: projection_dim: int，低秩矩阵的维度，应该小于input_dim/2, 官方建议input_dim/4 diag_s
2024-11-20 11:52:20
621
1
原创 一种可以识别局部单调的系数
传统的相关性测量方法通常假定X与Y之间的关系是线性的，即X和Y之间的相关性是对称的。然而，新方法的目标是测量Y作为X的函数的程度，因此ξ(X, Y)不一定等于ξ(Y, X)。为了计算ξ，我们首先需要对数据进行排序，使得X的值按从小到大的顺序排列。然后，我们需要计算Y值的秩。pearson和kendall等系数再识别单调的时候，更多是关注整体情况，很多时候，变量和因变量之间非简单的单调关系，局部单调ξ识别。需要注意的是这个系数本质上还是去识别单调，比pearson之类的提升也仅限于局部单调的识别。
2024-06-17 11:52:47
413
基于OeRec架的端到端生成模型优化：多模语义理解与高效推理统一基座设计
2025-10-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人