serve the people-CSDN博客

原创 XGBoost、LSTM、Transformer 在时序异常检测中的原理与选型

摘要本文对比了XGBoost、LSTM和Transformer三种模型在时序异常检测中的应用差异。XGBoost基于决策树，适合特征工程完善、样本量有限的场景，资源需求低且可解释性强。LSTM通过门控机制处理序列数据，能捕捉复杂时序模式，但需要大量样本和GPU资源。Transformer采用自注意力机制，训练效率更高但数据需求最大。预处理方面，神经网络需要标准化和序列重组，而XGBoost对特征量纲不敏感。建议从XGBoost起步，积累足够数据后再考虑升级到LSTM或Transformer。核心在于先完善

2026-04-22 19:14:34 414

原创评价LangGraph聊天机器人能力

摘要：评估基于LangGraph的AI Agent需建立多维度评价体系，涵盖任务执行力（成功率、步骤效率）、系统稳定性（护栏触发、异常处理）和用户体验（响应耗时、幻觉率）。推荐使用LLM-as-a-Judge方法，通过黄金数据集和裁判模型自动化评分，并利用LangSmith工具追踪节点错误、收集用户反馈。常见错误包括意图识别偏差、参数提取失败等，需针对性优化。建议分四步实施：数据收集、人工抽检、自动化评估和持续迭代，形成“评价-改进”闭环以提升Agent性能。（字数：150）

2026-04-08 19:33:20 424

原创 ACME 协议流程与AllinSSL 的关系(三)

本文摘要：一个完整的ACME证书签发流程模拟实现，通过Python代码模拟CA机构与客户端的交互过程。核心流程分为四个阶段：初始化阶段（进店咨询） /directory提供接口导航 /new-nonce发放防伪随机数 /new-account注册账号下单审核阶段（提交申请） /new-order提交域名申请 /authz/{auth_id}获取DNS验证挑战验证阶段（自证清白） /dnswebhook处理DNS记录更新 /chall/{chall_id}验证挑战结果签发阶段（打印证件） /fina

2026-03-27 10:00:50 506

原创 ACME 协议流程与AllinSSL 的关系(二)

摘要：ACME协议中的两对密钥可以用"办理房产证"类比理解：1）账号密钥(Account Key)相当于身份证，用于验证客户端身份，私钥签名、公钥验证；2）证书密钥(Certificate Key)相当于门锁，用于保护网站安全，私钥留在服务器，公钥放入CSR申请证书。全流程中，账号密钥用于身份认证，证书密钥用于生成最终证书。开发时需保存账号公钥验证请求，并从CSR提取证书公钥签发证书。（149字）

2026-03-26 18:13:49 421

原创 ACME 协议流程与AllinSSL 的关系(一)

本文用通俗易懂的比喻解析了ACME证书申请流程：客户端(申请人)通过CA机构(发证机关)和DNS服务(公告栏)完成域名验证。详细介绍了ACME协议的6个关键步骤：获取服务指南、领取防伪票据、提交申请、身份验证、DNS记录修改和最终发证。重点区分了账号密钥(用于通信签名)和证书密钥(用于服务器配置)的不同作用。最后对比了真实CA服务与模拟接口的差异，并解释了DNS验证失败的原因在于客户端会实际检查公网DNS记录。全文通过生动的类比，帮助读者理解复杂的证书签发机制。

2026-03-26 18:12:31 361

原创 BERT模型

摘要： BERT是NLP领域的里程碑式模型，通过双向编码器架构实现上下文深度理解。其核心创新在于掩码语言模型和下一句预测的预训练方法，使模型能同时学习词汇与篇章关系。相比生成式大模型（如Qwen、GPT），BERT属于理解型模型，擅长文本分类、信息抽取等任务，具有部署成本低、效率高的优势。2026年仍广泛应用于情感分析、搜索引擎优化、合同解析等场景，是工业界NLP任务的基石技术。（字数：150）

2026-03-24 17:25:47 396

原创 LLaMA-Factory微调数据的清洗与指令构造方法

摘要：生产数据需经过清洗和指令构造才能用于大模型微调，遵循“质量优于数量”原则。核心步骤包括：1）按LLaMA-Factory格式划分指令、输入、输出三部分；2）针对不同数据源（客服记录/文档/结构化数据）设计转化逻辑；3）用Python脚本自动化处理；4）检查数据多样性、去重和格式一致性。建议初学者先抽样100条验证流程，再规模化处理。关键点在于通过结构化转换和严格质检，将原始数据转化为模型可学习的标准化教材。

2026-03-24 17:09:17 420

原创 macbook m4 LLaMA-Factory入门级微调

摘要：本文提供了一份针对MacBook M4用户的LLM微调实践指南。通过Anaconda环境管理，使用Qwen2.5-3B-Instruct模型，重点演示了如何创建Go语言专属助手。方案包含五个关键步骤：1)搭建隔离环境；2)原始模型测试；3)准备JSON格式训练数据；4)编写针对M4优化的YAML配置文件；5)对比测试微调效果。特别强调了利用Mac的MPS加速和LoRA补丁技术，可在几分钟内完成3B模型的微调，最终生成一个仅几十MB的适配器文件。通过"你是谁"等测试问题，可直观验证知

2026-03-19 15:24:28 490

原创大模型微调（Fine-tuning）的工具生态

站在宏观视角看，大模型微调（Fine-tuning）的工具生态已经从两年前的“手动拧螺丝”进化到了现在的“工业自动化”。（新手最爱）、（极客首选）以及（开发者必备）。

2026-03-19 14:28:34 336

原创 ShedLock轻松解决Java定时任务多实例重复执行问题

摘要：ShedLock是一个轻量级分布式锁组件，用于解决Java多实例环境下定时任务重复执行的问题。它通过"抢钥匙"机制，确保同一任务在多个实例中同一时间只有一个执行。实现步骤包括：1)引入ShedLock依赖；2)创建专用数据库表；3)配置ShedLock；4)在定时任务方法添加@SchedulerLock注解。ShedLock适合轻量级需求，具有低侵入性、与SpringBoot完美集成等优点，但不支持任务分片、失败重试等复杂功能。

2026-02-25 17:12:24 666

原创 makefile中的shell变量语法总结

本文总结了Makefile中变量和符号的常见用法：1）$(var)或${var}用于引用Makefile变量；2）$$var在shell命令中引用shell变量；3）@符号抑制命令回显。还展示了组合使用示例，如PORT_VAL=$${port:-$(PORT)}，并提供了对比表格说明不同语法的用途。建议根据场景选择合适语法：Makefile变量用$(var)，shell变量用$$var，需要隐藏命令时加@。

2026-02-10 15:54:15 402

原创 Python 中的异步上下文生成器 @asynccontextmanager

@asynccontextmanager是Python中用于简化异步上下文管理器定义的工具。它通过装饰异步生成器函数，自动处理async with语句的进入和退出逻辑：yield前的代码对应资源初始化，yield后的代码对应资源清理。相比手动实现__aenter__和__aexit__方法，它能大幅减少模板代码。使用时需用try...finally包裹yield以确保资源释放，适用于管理异步数据库连接、文件操作等场景，是异步编程中资源管理的最佳实践之一。

2026-02-06 14:39:50 331

原创 python环境搭建 (十三) tenacity重试库

tenacity==9.1.2是Python中用于处理临时性故障的重试库，比标准方案更灵活。通过@retry()装饰器可轻松实现重试逻辑，支持自定义停止条件、等待间隔和重试触发条件。主要功能包括：基础重试（固定间隔+次数限制）、高级重试（指数退避+特定异常）、按返回结果重试等。该库提供多种策略组合，如stop_after_attempt限制重试次数、wait_exponential实现指数退避等待、retry_if_exception_type指定异常类型重试。适用于网络请求、数据库连接等可能临时失败的场景

2026-02-05 17:07:18 534

原创 python环境搭建 (十三) httpx和aiohttp

摘要 Python HTTP库对比：httpx 0.28.1与aiohttp 3.13.1 httpx是新一代HTTP客户端库，同时支持同步和异步请求，兼容requests API，适合需要同步/异步切换的场景。亮点包括HTTP/2支持、连接池优化和简单易用的API。提供同步请求（替代requests）和异步请求（使用AsyncClient）两种模式，支持会话保持、代理设置和文件上传等功能。 aiohttp是纯异步HTTP库，专注于高性能并发场景，同时支持客户端和服务端功能。相比httpx异步模式有更优性能

2026-02-05 16:03:59 1061

原创 python环境搭建 (十二) pydantic和pydantic-settings类型验证与解析

Pydantic 2.12.5 是一个Python数据验证和解析库，核心功能包括类型校验、数据转换、结构化建模以及序列化/反序列化。通过继承BaseModel定义数据模型，支持字段约束、自定义校验和嵌套模型，适用于API开发等场景。配套的pydantic-settings库专用于配置管理，支持从环境变量等来源加载配置。新版本性能提升5-10倍，简化了数据校验流程，替代了传统的手动if判断校验方式。

2026-02-05 11:05:22 742

原创 python环境搭建 (十一) 在不同环境中使用python-dotenv

本文介绍了使用 python-dotenv 管理多环境配置的两种方案。方案一通过代码指定加载不同环境的 .env 文件（如 .env.dev、.env.prod），适合本地开发；方案二通过系统环境变量 ENV 自动切换配置，是企业级最佳实践。文章详细说明了配置文件结构、.gitignore 设置建议，并提供了核心代码实现和不同运行环境下的变量设置方法。两种方案都实现了配置隔离，无需修改业务代码即可切换环境，其中方案二更适合团队协作和线上部署场景。

2026-02-04 17:59:42 975

原创 python环境搭建 (十) PyYAML核心基本用法

PyYAML 6.0.3核心用法摘要：该库支持Python数据与YAML的双向转换，推荐使用安全方法safe_dump()和safe_load()。主要功能包括：将字典/列表序列化为YAML字符串（注意中文编码和键排序控制）；解析YAML为Python对象；读写YAML配置文件（需指定UTF-8编码）；处理多文档YAML。关键注意事项：必须使用安全方法避免代码注入，6.0.3版本仅支持Python3.6+，且应始终禁用不安全的yaml.load()方法。

2026-02-04 17:23:45 1093

原创 python环境搭建 (九) 极简日志工具 loguru

loguru是一个简化Python日志记录的第三方库，相比原生logging模块，它提供零配置开箱即用、自动异常捕获、智能日志管理等核心功能。本文详细介绍了loguru 0.7.3版本的安装、基础使用和进阶配置，包括：无需配置即可输出彩色日志到控制台通过logger.add()实现日志文件输出和智能轮转使用logger.exception()自动捕获完整异常堆栈自定义日志格式和级别过滤线程/进程安全及协程支持 loguru的极简API设计使其成为Python开发中日志记录的高效替代方案，特别适合生

2026-02-04 16:58:55 684

原创 python环境搭建 (八) Python 代码规范黄金组合：Black + isort + flake8

Python代码规范黄金组合：Black + isort + flake8 全解析本文介绍了Python开发中的代码规范黄金组合：Black 25.12.0（代码格式化）、isort 7.0.0（导入排序）和flake8 7.3.0（静态检查）。三者分工明确，形成"导入排序→格式统一→静态校验"的完整质量保障闭环。文章详细解析了各工具的核心功能、基础使用方法，并提供了可直接落地的组合最佳实践，包括统一安装、配置规则和操作顺序建议。通过这套工具组合，开发者可以轻松实现代码从"杂

2026-02-04 15:44:25 913

原创 python环境搭建 (七) pytest、pytest-asyncio、pytest-cov 试生态的核心组合

本文介绍了Python测试生态中的核心组合：pytest（基础测试框架）、pytest-asyncio（异步测试插件）和pytest-cov（覆盖率统计插件）。内容涵盖从安装到使用的完整流程：首先安装指定版本库，然后讲解同步和异步测试用例的编写规范，包括文件命名、函数命名和断言使用。重点演示了如何执行测试并生成覆盖率报告，特别是通过HTML可视化报告直观查看代码覆盖情况。文中所有示例都适配指定版本，可直接运行，帮助开发者快速掌握Python测试工具链的使用技巧。

2026-02-04 15:38:44 1081

原创 python环境搭建 (六) Makefile 简单使用方法

本文介绍了Makefile的基本使用方法，主要包含以下要点： Makefile是自动化构建工具，通过定义构建规则和依赖关系实现高效开发核心规则格式为"目标:依赖+Tab缩进命令"，目标可以是生成文件或伪目标实用特性包括：伪目标(.PHONY)声明变量定义和引用多目标/多依赖处理默认目标设置关键注意事项：命令必须Tab缩进 Make会自动检查文件修改时间使用@前缀可隐藏命令显示典型应用场景：编译C/C++项目，也可用于其他语言的自动化流程 Makefile能显著提升开发

2026-02-04 10:53:03 528

原创 python环境搭建 (五) Dockerfile 和 docker-compose.yml 核心作用

本文详细解析了 Dockerfile 和 docker-compose.yml 的核心作用及配合逻辑。Dockerfile 作为镜像构建脚本，定义了项目运行所需的基础环境；docker-compose.yml 则负责容器编排，配置运行规则。文章通过逐行解析配置文件，阐述了最佳实践写法，并提供了从安装到部署的完整步骤，包括环境搭建、启动脚本编写、容器管理及常见问题排查。这种组合方案能实现快速部署、环境隔离和便捷管理，适用于开发和生产环境。

2026-02-03 17:55:41 1211

原创 python环境搭建 (四) ASGI 协议与 WSGI 协议核心区别详解

WSGI与ASGI协议核心区别解析 WSGI和ASGI是Python Web开发中两种关键网关接口协议，主要区别在于：设计理念 WSGI为同步编程设计，仅支持HTTP/1.1 ASGI为异步编程设计，兼容WSGI并支持HTTP/2、WebSocket等现代协议性能差异 WSGI采用同步阻塞模型，依赖多进程/线程 ASGI基于异步协程，单进程即可高效处理高并发应用场景 WSGI适合传统Web应用(Flask/Django<3.0) ASGI适合实时应用(FastAPI/Django3.0+) 兼容

2026-02-03 15:37:18 1274

原创 python环境搭建 (三) FastAPI 与 Flask 对比

Flask与FastAPI是Python两大主流Web框架，各有优势。Flask是经典的同步WSGI框架，适合小型项目和快速开发；FastAPI是现代的异步ASGI框架，支持高性能API和WebSocket。在生产部署上，Flask直接搭配Gunicorn（默认WSGI工作进程），而FastAPI需要Gunicorn+UvicornWorker。两者都可以通过Supervisor实现进程管理，确保高可用性。开发环境Flask可选用自带服务器或Uvicorn运行，生产环境推荐Gunicorn+Supervis

2026-02-03 11:34:38 1279

原创 python环境搭建 (二) Supervisor 的核心作用与使用详解

Supervisor是Linux/Unix系统下用Python编写的进程监控管理工具，专门用于管理Python项目中的后台进程。它解决了生产环境中进程后台运行、崩溃自动恢复、日志集中管理和开机自启等核心问题。在FastAPI项目中，Supervisor作为"进程管家"管理Gunicorn主进程，确保Web服务稳定运行。使用流程包括安装Supervisor、配置管理Gunicorn进程、启动Supervisor服务以及通过supervisorctl命令管理进程状态。通过将Superviso

2026-02-03 10:59:18 757

原创 python环境搭建 (一) Uvicorn、Gunicorn、FastAPI 关系与配合详解

FastAPI、Uvicorn和Gunicorn构成了Python Web开发的黄金组合，采用分层架构设计实现高效协作。FastAPI作为业务层处理逻辑，Uvicorn作为ASGI服务器处理协议解析，Gunicorn作为管理层实现多进程管理。开发环境可直接用Uvicorn运行FastAPI，生产环境则由Gunicorn管理多个Uvicorn工作进程，实现高并发和负载均衡。这种组合充分发挥了FastAPI的异步性能，解决了单进程服务器的局限性，是构建高性能Web应用的理想方案。

2026-02-03 10:57:29 1095

原创 IP 信用（IP Reputation/IP Credit）全解：定义、评分与实战应用

IP信用（IP Reputation）全解摘要 IP信用是对IP地址历史行为可信度的量化评估，主要用于风控、反欺诈和网络安全。核心评分维度包括基础属性（20%）、历史行为（40%）、使用特征（20%）和第三方标记（20%），采用0-100分制划分风险等级。技术应用场景涵盖账号安全防护、API防刷、爬虫识别等，商务场景包括交易反欺诈和用户信用评估。主流API如IPQS、MaxMind提供实时查询，开发者可通过Python/Go快速集成。最佳实践建议采用分层验证策略和缓存机制，同时掌握IP Reputation

2026-01-23 15:47:42 1043 1

原创 .env 文件

本文介绍了在Python项目中使用.env文件管理环境变量的完整流程：1)创建.env文件并配置键值对；2)安装python-dotenv库；3)通过load_dotenv()加载配置，使用os.getenv()读取变量；4)将.env加入.gitignore避免泄露敏感信息。重点注意事项包括：所有读取变量均为字符串需类型转换、设置默认值提升健壮性、生产环境需配置文件权限。核心流程可概括为：创建配置→加载库→读取变量→安全防护。该方法能有效隔离敏感配置与代码，是Python项目环境管理的标准实践。

2026-01-08 15:13:40 1363

原创 typing包的常见用法

Python 3.5+ 引入的 typing 标准库提供类型提示工具，解决动态类型语言的可读性和调试问题。常用组件包括：基础容器类型（List/Dict/Tuple/Set）标注元素类型 Union/Optional 处理多类型和可选值特殊类型（Any/None/Literal）实现任意类型、空值和字面量限制 Callable 标注函数类型 Generic/TypeVar 支持泛型编程 TypedDict 定义结构化字典 Iterable/Iterator 标注迭代相关类型新版本Python（3.9+

2026-01-06 14:50:46 648

原创 TypedDict

TypedDict 是 Python 3.8+ 引入的类型提示工具，用于为字典指定固定键名和值类型，解决普通字典类型模糊的问题。它明确要求字典必须包含哪些键、每个键对应的值类型，并支持可选键标记（通过total=False或Required/NotRequired）。TypedDict支持继承、嵌套和联合类型，适用于复杂数据结构，但仅用于静态类型检查（如mypy），运行时不会强制验证。相比普通字典的类型提示，它能提供更精确的类型安全保证，特别适合处理结构化数据场景。

2026-01-05 18:36:47 979

原创 Agent 基于大模型接口实现用户意图识别：完整流程与实操

本文介绍了基于大模型API实现用户意图识别的完整流程。首先需要定义清晰的意图分类体系，确保分类互斥且覆盖核心场景。核心步骤包括设计精准Prompt（包含任务目标、意图列表、输出格式和示例）、调用大模型接口（以OpenAI和通义千问为例演示代码实现），以及解析返回结果。关键要点是：通过结构化Prompt引导大模型输出JSON格式结果，设置低temperature保证稳定性，并添加示例提升准确率。该方法可应用于电商、客服等需要理解用户意图的场景。

2025-12-25 15:32:58 1584

原创 TensorFlow 2.0 手写数字分类教程之SparseCategoricalCrossentropy 核心原理(四)

本文介绍了避免Softmax计算中数值溢出的技巧。核心思路是通过代数变换将Softmax和交叉熵损失合并计算，并运用log-sum-exp技巧处理大数值问题。具体步骤包括：1)将Softmax对数计算转换为logits直接运算；2)通过减去logits最大值使指数运算结果控制在(0,1]范围内。这种方法能有效防止e^z溢出，保证即使输入值很大(如1000)也能正确计算损失值。最终实现了在不改变数学结果的前提下，安全高效地完成Softmax相关计算。

2025-12-22 17:40:21 573

原创 TensorFlow 2.0 手写数字分类教程之SparseCategoricalCrossentropy 核心原理(三)

本文通过分类实例详细拆解交叉熵损失公式的计算过程。首先以3分类问题（猫/狗/鸟）为例，逐步解释公式H(p,q)=-Σp(i)logq(i)中每个符号的含义，并代入具体数值手算验证（当正确类别置信度为0.8时，损失值为0.223）。随后揭示关键简化形式：损失值=-ln(正确类别的预测概率)。针对logits输入情况，详解通过log_softmax转换避免数值溢出的计算技巧，并对比两种计算方式的结果一致性。最后说明批量损失即各样本损失的平均值。核心要义在于：所有公式变体本质上都在计算模型对正确类别预测置信度的负

2025-12-22 16:56:12 875

原创 TensorFlow 2.0 手写数字分类教程之SparseCategoricalCrossentropy 核心原理(二)

摘要：tf.keras.losses.SparseCategoricalCrossentropy是用于单标签多分类任务的损失函数，其特点是直接使用整数标签（如0/1/2）而无需转为one-hot编码，节省内存且操作简便。该函数通过评估正确类别的预测置信度来打分：置信度越高损失值越低。关键参数from_logits建议设为True以处理原始模型输出。与CategoricalCrossentropy的主要区别在于标签格式要求，前者适用于整数标签，后者需要one-hot编码。使用时需注意标签取值范围和单标签限制。

2025-12-22 16:54:08 991

原创 TensorFlow 2.0 手写数字分类教程之SparseCategoricalCrossentropy 核心原理(一)

SparseCategoricalCrossentropy是TensorFlow/Keras中针对多分类任务的损失函数，专为稀疏标签（整数型标签）设计。它通过直接索引整数标签避免one-hot编码，节省内存。核心原理是计算模型输出的类别概率分布与真实标签的交叉熵差异，支持从logits直接计算以提高数值稳定性。与CategoricalCrossentropy相比，它更适用于类别数多、标签为整数的场景。使用时需注意标签范围在[0, C-1]内，推荐设置from_logits=True避免数值溢出。该损失函数是

2025-12-22 16:52:23 919

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

Java加密技术

Apache_Mina_Server_2.0中文参考手册V1.0

金仓SQL语法详解

chrome插件，修改对应URL的http请求的header头，包括ajax请求

docker系统学习文档

大数据知识结构梳理

starTeam使用

Elasticsearch示例数据 accounts.json

GeoIP_1.4.8.tar.gz 地理信息系统，资源包含geoIP_1.4.8的所有资源。

天眼查爬虫学习demo

apache-tomcat-8.5.23

微服务脑图

zookeeper eclipse plugin

KingbaseESHelp.rar

hadoop学习假数据

空空如也