大数据分析方法
文章平均质量分 79
智能建造硕博
专注AI与智能建造领域,分享科研方法与学习成长经验,欢迎关注交流。Knowledge for Science, Innovation for Future!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
使用LLM(Ollama部署)为Bertopic确定的主题命名
摘要:本文介绍了一个基于Ollama本地部署的Qwen3:14b模型结合BERTopic的自动化主题命名方案。该方案通过Python函数generate_topic_name()处理BERTopic生成的关键词和样本摘要,构造提示词调用本地模型生成3-4个词的简洁主题名称。方法包含清除模型思考标签的后处理步骤,适用于学术论文、新闻聚类等多种场景,实现了从关键词到主题命名的全流程自动化。代码展示了完整的实现逻辑,包括提示词构造、模型调用和结果处理。原创 2025-09-09 22:12:49 · 566 阅读 · 0 评论 -
SHAP详解:机器学习模型解释的统一框架(含实战案例)
SHAP(SHapley Additive exPlanations)是一种基于博弈论的机器学习模型解释方法,旨在解决黑箱模型的不可知性、局部与全局解释割裂以及特征交互作用忽略等问题。SHAP通过Shapley值,公平地分配每个特征对模型预测的贡献,确保解释的准确性和一致性。其核心原理源于博弈论中的合作博弈,通过计算所有可能特征组合的边际贡献,得出每个特征的Shapley值。SHAP不仅适用于复杂模型如XGBoost和深度学习,还能在广告归因等实际问题中提供更公平的贡献分配。与传统方法相比,SHAP全面量化原创 2025-05-22 01:04:08 · 8532 阅读 · 0 评论 -
LDA:从降维到主题建模的多面手(案例代码)
LDA(Linear Discriminant Analysis)在机器学习领域有两种经典应用场景: 1. **线性判别分析**:一种监督学习的降维技术,通过最大化类间距离与最小化类内距离实现分类优化。 2. **隐含狄利克雷分布(Latent Dirichlet Allocation)**:一种无监督生成式模型,用于从文本中挖掘潜在主题。 两者名称相同但应用场景迥异,需根据上下文区分。原创 2025-03-31 01:21:41 · 1315 阅读 · 0 评论
分享