- 博客(59)
- 收藏
- 关注
RSS订阅原创 从 Louvain 到 Leiden：保证社区连通性的社区检测算法研究解读
本文分析了社区检测中的Louvain算法及其改进版Leiden算法。首先介绍了两种常用的社区质量评估函数：模块度(Modularity)和恒定波茨模型(CPM)，解释了它们的数学定义和物理意义。重点指出了模块度存在分辨率限制问题，而CPM通过独立于网络规模的参考基准避免了这一问题。然后详细阐述了Louvain算法的两阶段迭代流程，并揭示其存在社区连通性差的核心缺陷。最后介绍了Leiden算法的改进思路，通过三个阶段的操作保证社区良好连通性。文章基于原始论文数据，为理解社区检测算法提供了简明技术解读。
2026-01-12 23:18:00
627
原创 【GraphRAG 系列】EraRAG论文解析：动态 corpus 场景下的 GraphRAG 效率革命
EraRAG提出了一种支持高效增量更新的多层树状图框架，解决传统GraphRAG在动态语料场景下需全量重构的问题。通过超平面LSH语义分组、可控分区和选择性向上传播更新机制，仅修改受影响的局部子图，避免全图重构。实验显示可节省95%构建时间和token成本，适用于新闻、学术论文等持续增长的语料场景。
2026-01-06 23:56:06
628
原创 GraphRAG简介
摘要 GraphRAG是一种结构化检索增强生成方法，通过知识图谱替代传统向量数据库，解决了Naive RAG在多跳推理和全局语义理解上的局限性。其核心流程包括构建知识图谱、社区检测和生成摘要，从而支持跨文档关联推理和宏观语义分析。与Naive RAG相比，GraphRAG能更好地处理复杂查询（如技术路径还原）和抽象问题（如战略趋势分析），同时具备去重、可解释性及领域术语适配等优势。典型应用场景包括从分散数据中整合逻辑链（如华为5G技术突破）或提炼全局洞察（如业务战略演变）。
2026-01-05 09:30:21
769
原创 AI计算引擎：Ray
Ray是一个开源的AI计算引擎和统一框架，由UC Berkeley RISELab开发，用于构建和扩展机器学习与Python应用。其核心组件包括Ray Core（提供任务、参与者和对象存储等分布式原语）、Ray Data（数据处理）、Ray Train（分布式训练）、Ray Tune（超参数调优）、Ray Serve（模型服务）和Ray RLlib（强化学习）。Ray Core通过@ray.remote装饰器实现函数和类的分布式执行，支持无状态任务(Tasks)和有状态参与者(Actors)，并通过对象存储
2025-12-26 15:30:51
890
原创 聊聊在大模型RLHF中的PPO算法的奖励
本文探讨了在RLHF训练大模型时，PPO算法中奖励信号的关键作用及其传递机制。核心要点包括：1）PPO使用截断替代目标函数，通过概率比率和优势估计优化策略；2）采用广义优势估计(GAE)将序列级奖励(如0/1)转化为token级奖励，具体方法是将全部奖励放在最后一个有效token上；3）GAE通过反向递推将最终奖励信号传播到整个序列，利用价值函数差异和信用分配机制，使中间token即使即时奖励为0也能获得非零优势值。这种机制通过λ参数调节奖励传播距离，使模型能学习到引导生成正确输出的早期决策。
2025-12-26 00:05:33
709
原创 本地运行LangChain Agent用于开发调试
本文介绍了如何基于LangChain 1.0和DeepAgents构建功能强大的Coding Agent，并详细说明了本地测试和调试的方法。主要内容包括：1) 项目环境准备和配置；2) 创建调试Agent；3) 配置LangGraph文件；4) 启动API服务器；5) 通过Chat UI进行交互。文章还提供了一个使用deep-code-agent完成编码任务的示例，展示了从环境搭建到实际应用的全流程。这些工具和方法可以帮助开发者高效地进行Agent开发和测试。
2025-12-16 23:59:22
721
原创 Agent调试的痛点
Agent 调试的痛点：核心矛盾在于Agent的智能本质是非确定性的，开发者需在“智能”与可控性间权衡——优先确保可追溯、可中断的工程底线，而非追求全自动。短期内，调试仍是开发者最大挑战。
2025-12-15 18:11:28
906
原创 将你的LangChain Agent可视化
本文介绍了四种可视化展示LangChain Agent流程图的方法。首先需要安装依赖项，包括LangGraph、LangChain和pygraphviz。通过agent.get_graph()获取图对象后，可选择：1) 保存为PNG格式在线渲染；2) 获取Mermaid代码嵌入文档；3) 使用Graphviz本地渲染；4) 打印ASCII简易流程图。文章提供了代码示例和输出效果图，建议根据开发调试、文档集成或生产展示等不同场景选择合适的方法。最后还列出了相关参考资料链接。
2025-12-12 14:31:28
883
原创 使用Python检测文件是否为图片的几种方法
本文总结了四种Python判断文件是否为图片类型的方法：1）使用Pillow库的verify()方法验证图像格式和完整性；2）通过python-magic读取文件头部"魔数"识别真实类型；3）手动检查文件头字节与已知图像格式签名匹配；4）结合请求流直接使用Pillow验证而不保存文件。对比分析表明，Pillow的verify()方法准确性最高且通用，而流式验证适合批量下载场景。文章建议优先使用Pillow验证，下载后立即检查，且不要仅依赖URL扩展名或Content-Type判断文件类型
2025-12-11 11:22:31
271
原创 基于DeepAgents轻松构建AI Coding Agent
本文介绍了基于DeepAgents框架开发的AI编码助手deep-code-agent，该项目通过模块化子智能体系统提供代码审查、测试生成、文档生成、调试和重构等一站式开发服务。文章详细解析了项目的五大核心功能、技术架构和扩展设计，并提供了快速安装配置指南。该项目利用LangChain和LangGraph实现智能工作流，支持OpenAI和自定义模型，可直接操作本地代码库。作者强调使用前需备份代码并谨慎审查生成内容，同时欢迎开发者参与贡献。项目已开源在GitHub。
2025-12-10 23:49:30
1342
原创 DeepSeek-R1 蒸馏
蒸馏（Distillation，又称模型蒸馏、数据蒸馏、知识蒸馏等）是一种通过大模型（教师模型）生成或优化训练数据，使小模型（学生模型）能够高效学习的技术，其核心目标是降低训练成本并提升小模型的性能。DeepSeek-R1发布时，也顺便发布了使用其蒸馏数据训练的小参数模型，这些小参数模型在推理性能上也有了很大的提升，也间接证明了DeepSeek-R1模型的推理能力很强，能从其中提炼出高质量的数据。
2025-02-27 21:30:31
739
原创 DeepSeek-R1的一些影响
DeepSeek-R1火爆全球，肯定不仅仅是开源了一篇论文、一个模型那么简单，更多的是其带来的一些影响，这里简单聊聊。
2025-02-26 22:14:45
940
原创 强化学习演进：GRPO 从何而来
强化学习（Reinforcement Learning, RL）是机器学习的一个分支，其核心是让智能体（Agent）通过与环境（Environment）的交互，学习如何采取最优行动（Action）以最大化长期累积奖励（Reward）。
2025-02-26 17:03:42
1791
原创 LlamaIndex中使用本地LLM和Embedding
LlamaIndex默认会调用OpenAI的text-davinci-002模型对应的API，用于获得大模型输出，这种方式在很多情况下对国内用户不太方便，如果本地有大模型可以部署，可以按照以下方式在LlamaIndex中使用本地的LLM和Embedding
2025-02-22 22:41:20
792
原创 火山引擎火山方舟平台微调SFT——赋予通用大模型深度思考能力
本文介绍如何使用火山引擎上的火山方舟平台对大模型进行微调，使大模型能够服务于特定的场景。这里主要演示了使用长 CoT 的推理数据对 doubao-lite-32k 进行监督微调（SFT），以使 doubao-lite 大模型具备类似 DeepSeek-R1 的深度思考和推理能力。
2025-02-21 18:15:00
1784
原创 【DeepSeek 系列】DeepSeek-R1
通过强化学习激励LLM的推理能力DeepSeek 的第一代推理模型，迈出了使用纯强化学习（RL）来提高语言模型推理能力的第一步，探索 LLM 在没有任何监督数据的情况下开发推理能力的潜力，重点关注它们通过纯 RL 过程进行自我进化。这也是第一项验证了 LLM 的推理能力可以纯粹通过 RL 来激励而无需 SFT 的开放式研究。
2025-02-21 14:27:03
1289
原创 【DeepSeek 系列】DeepSeek-V3
延续了 DeepSeek-V2 的总体架构，将模型规模扩展到 671B（37B 激活），调整了专家路由的负载均衡策略，从使用辅助损失到使用无辅助损失的负载平衡策略以减少辅助损失对模型性能的影响，还使用了多 token 预测以实现更好更快的模型训练和推理。
2025-02-21 10:24:22
1355
原创 【DeepSeek 系列】DeepSeek-V2
架构创新注意力机制：设计了 MLA，利用低秩键值联合压缩来消除推理时键值缓存（key-value cache）的瓶颈，从而支持高效推理。FFN：采用 DeepSeekMoE 中的高性能 MoE 架构，能够以经济的成本训练强大的模型。
2025-02-20 20:15:16
1521
原创 【DeepSeek 系列】DeepSeekMoE
基于创新的 MoE 架构，先训练了 2B 参数量的模型，验证了该架构的有效性，然后扩展到 16B 规模，评测结果同样展示了该架构的有效性和可扩展性。基于 DeepSeekMoE 16B 进行监督微调 SFT 构建了聊天模型证明了对 MoE 模型进行 SFT 能够进一步提升效果。最后更进一步将模型扩展到 145B 的规模。
2025-02-20 17:39:35
1485
原创 【DeepSeek 系列】DeepSeek LLM
用长期主义扩展开源语言模型：通过对 Scaling Laws 的重新深入研究，解决之前这方面工作中存在的问题，并提出新的观点和发现，以此来指导大模型后续的开发和扩展
2025-02-20 16:41:32
1400
原创 pyinstaller打包pytorch和transformers程序
记录使用pyinstaller打包含有pytorch和transformers库的程序时遇到的问题和解决方法。
2024-05-01 22:41:07
2935
2
原创 vLLM部署Qwen1.5-32B-Chat
使用大模型推理和服务部署框架vLLM部署Qwen1.5-32B-Chat，并记录在这过程中遇到的问题及解决方法
2024-04-12 17:02:31
4088
原创 配置JupyterLab远程密码访问
有些时候因为某些原因（如本地机器资源不足、数据不能离网等），需要使用本地电脑连接远程服务器进行开发工作，在这里记录下如何在远程Linux上配置Jupyter服务器，从而在本地电脑上远程密码连接JupyterLab进行开发。
2022-11-07 11:53:43
5672
3
原创 使用numpy.where函数出现的问题与思考
总结一句，编写程序代码时，如果只看函数的功能，有时可能会因为惯性思维导致一些自己觉得莫名其妙的错误，就像在这里，因为np.where函数的功能和if else语句的功能类似，所以也自以为其执行的逻辑也是一样的，而忘记了函数本身的执行逻辑，结果就出现错误了。所以，惯性思维是把双刃剑，有时能助你快速解决问题，有时也会给你带来一些麻烦，正确认识这一点，才能有效避免这一误区。
2022-09-27 15:17:44
1448
原创 【pandas数据分析】pandas数据结构
众所周知，数据结构在类库、编程语言甚至是整个计算机科学中都是极其重要的存在，它决定了数据的表达和承载能力、对数据的处理和操作的灵活度和高效性，也是一个类库或一门语言强大功能的其中一种表现。对于pandas这样一个专门做数据分析的类库而言，数据结构无疑是整个工具的基石，所有强大的功能和操作都是基于其数据结构实现的。前面的文章中简单提到了pandas中主要有两种数据结构：用于表示一维数据的Series用于表示二维数据的DataFrame在这里，我们对这两种数据结构做进一步的了解。
2022-09-22 11:01:57
2372
1
原创 【pandas数据分析】pandas功能和操作简单示例
本文使用pandas展示了一些例子，走马观花地看看pandas的一些功能和操作。这些示例基本上涵盖了pandas大部分的内容，通过这些示例，可以直观地感受下pandas的强大。
2022-09-14 19:08:13
1374
翻译 Docker概述
Docker是一个用于开发、发布和运行应用程序的开放平台。Docker使你能够将应用程序与基础设施分离，以便你可以快速交付软件。使用Docker，你可以像管理应用程序一样管理基础设施。通过利用Docker快速发布、测试和部署代码的方法，你可以显著减少编写代码和在生产中运行代码之间的延迟。
2022-09-08 16:26:15
1146
翻译 【pandas数据分析】pandas概述
pandas是一个快速、强大、灵活且易于使用的开源数据分析和操作工具，构建在Python编程语言之上，其提供了快速、灵活和富有表达性的数据结构，旨在使得处理关系型或有标签的数据变得简单直观。它旨在成为在 Python 中进行实际的、真实的数据分析的基本高级构建块。此外，它还有更广泛的目标，即成为任何语言中最强大、最灵活的开源数据分析/操作工具。它已经在朝着这个目标迈进。
2022-09-07 11:05:29
1713
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人