超哥---CSDN博客

原创 Boss直聘 Cookie 总过期？我写了个自动同步+反爬自愈的求职工具链

这篇文章介绍了一个程序员开发的半自动化求职系统，通过Python和浏览器插件搭建了一套工程化解决方案。系统主要功能包括：Boss直聘API搜索（逆向接口、Cookie认证）、浏览器插件自动同步Cookie、反爬虫自愈机制（处理code=37错误）、公司背调工作流（天眼查数据筛查）以及简历定制与PDF生成。作者采用纯Python标准库实现，避免第三方依赖，通过本地HTTP服务实现插件与脚本的通信。该系统将求职流程模块化，有效解决了重复搜索、Cookie过期、反爬限制等痛点，帮助求职者将精力集中在核心面试准备环

2026-06-21 19:49:23 564

原创 B站视频内容智能分析系统（十）：踩坑记录与性能优化

本文总结了开发B站视频内容智能分析系统过程中遇到的典型问题与优化方案。主要内容包括：1) Docker SDK与Compose的Volume命名差异导致的数据隔离问题；2) 系统监控接口从串行到三路并行的优化（23s→2.2s）；3) 增量扫描机制遗漏旧视频的解决方案；4) API配置集中化管理实践；5) Nginx上传限制、内存调优等基础设施问题；6) LLM分类器的幻觉问题处理；7) DuckDB锁冲突、模型下载失败等细节问题。这些实战经验对构建复杂AI系统具有普遍参考价值，特别是Docker与LLM相

2026-06-12 00:36:35 360

原创 B站视频内容智能分析系统（九）：React 前端与管理面板

本文介绍了B站视频内容智能分析系统的React前端与管理面板设计。该系统采用React 18 + TypeScript + Tailwind CSS技术栈，实现双视图设计（对话视图和管理面板视图），通过Tab切换无需页面跳转。核心功能包括：对话视图：支持自然语言问答，展示AI回答的路由类型、SQL查询、来源引用等信息斜杠命令：提供快捷操作如系统状态检查、UP主列表查看等管理面板：集成采集触发、Cookie管理、GPU转录、查询日志、服务监控等功能 UP主管理：支持UP主添加、删除和批量导入导出容器集

2026-06-12 00:34:36 204

原创 B站视频内容智能分析系统（八）：Router Agent 智能路由

本文介绍了B站视频内容智能分析系统中的Router Agent模块。作为系统的统一入口，Router Agent负责接收用户查询，通过意图分类判断应走Text-to-SQL（结构化查询）、RAG（语义检索）还是混合通道，并完成查询分发与结果融合。文章详细阐述了分类Prompt设计、三级路由逻辑、混合查询的并行处理与结果融合策略，以及开发中遇到的分类幻觉和UP主名称标准化问题。该系统通过/api/chat接口提供统一服务，支持强制路由和智能降级，最终返回包含自然语言回答、SQL语句和引用来源的完整响应。

2026-06-12 00:17:53 190

原创 B站视频内容智能分析系统（七）：RAG 语义检索

本文介绍了B站视频内容智能分析系统中RAG（检索增强生成）模块的实现方案。系统采用BM25关键词检索与向量语义检索相结合的混合检索策略，互补提升检索效果。文章详细讲解了纯Python实现的BM25算法（约130行代码）、基于SiliconFlow Embedding的向量检索，以及两种检索结果的Rank-based Fusion融合方法。此外还实现了元数据过滤检索和基于LLM的问答生成功能，支持双LLM模型切换。该方案在保证检索质量的同时，通过轻量级实现降低了系统复杂度。

2026-06-12 00:09:07 398

原创 B站视频内容智能分析系统（六）：Text-to-SQL 结构化查询

本文介绍了B站视频内容智能分析系统中的Text-to-SQL模块，通过4-Agent Pipeline实现自然语言到结构化查询的转换。Pipeline包含意图理解、Schema检索、SQL生成和SQL审查四个环节，采用重试机制确保SQL准确性。文章重点解析了各Agent的设计思路，包括意图分类与日期推断、静态Schema管理、Prompt优化设计、四维审查机制等关键技术点，并介绍了UP主名称标准化处理方案。该系统实现了统计类查询（如视频数量、博主更新频率等）的精准回答，与RAG模块形成互补，共同构建完整的自

2026-06-12 00:01:19 271

原创 B站视频内容智能分析系统（五）：LLM 内容精炼与多域分类

本文介绍了B站视频内容智能分析系统中使用LLM（大语言模型）进行内容精炼与分类的关键技术方案。该系统通过双域精炼体系（情感域和求职域），将长视频转写文本提炼为结构化的三段式摘要，包含核心观点、案例摘要和可行动建议。文章详细阐述了精炼Prompt设计、分类体系构建（情感域31类/求职域18类）、LLM调用优化（重试机制/速率控制）以及结果存储流程（DuckDB结构化存储/ChromaDB向量化）。该方案有效解决了原始视频文本信息密度低、检索效果差的问题，为后续RAG应用提供了高质量的语义化内容基础。

2026-06-11 23:13:11 271

原创 B站视频内容智能分析系统（四）：语音转写三级回退

本文介绍了B站视频内容智能分析系统的语音转写模块设计，采用三级回退策略解决不同环境下的转写需求：云ASR转写：优先使用硅基流动的免费SenseVoiceSmall模型，通过API实现快速转写，并设计了月度预算控制机制防止超额使用。 GPU远程转写：当云服务不可用时，自动回退到开发机的RTX 4060 GPU进行加速转写，通过HTTP提交+轮询机制实现远程调用。本地Whisper CPU：作为最终兜底方案，使用faster-whisper在NAS上完成转写，虽然速度较慢但保证系统可用性。文章详细讲解了每

2026-06-11 23:00:45 299

原创 B站视频内容智能分析系统（三）：B站视频自动采集

本文详细介绍了B站视频内容智能分析系统的自动采集模块实现方案。系统采用YAML文件配置UP主信息，通过B站WBI签名API获取视频列表，支持增量/全量两种采集模式。核心设计包括：双层Checkpoint机制确保断点续采、分批处理避免磁盘爆满、yt-dlp下载音频文件等。系统提供手动触发、前端触发和NAS定时触发三种运行方式，并支持多UP主并发采集与QQ通知功能。整体流程注重容错性，确保数据采集的可靠性和完整性。

2026-06-08 14:48:12 468

原创 B站视频内容智能分析系统（二）：Docker Compose 一键部署

本文介绍了B站视频内容智能分析系统的Docker Compose部署方案，重点讲解了如何通过单一YAML文件管理多容器服务。主要内容包括：使用profiles区分开发和生产环境；详细拆解8个核心服务（ChromaDB、Text-to-SQL、RAG等）的配置；优化Dockerfile实现国内镜像加速；设计Volume实现数据共享；配置健康检查与服务依赖；以及Nginx反向代理设置。文章强调Docker Compose在单机部署场景下的优势，通过精心编排实现一行命令即可启动完整系统，同时兼顾开发和生产两种环境

2026-06-05 10:33:15 798

原创 B站视频内容智能分析系统（一）：项目介绍与架构设计

摘要本文介绍了B站视频内容智能分析系统的架构设计与技术选型。该系统旨在解决视频内容检索效率低下的问题，通过自动化流程将B站情感博主的视频转写为文字，并构建可搜索的知识库。系统采用DuckDB作为嵌入式数据库，ChromaDB作为向量存储，结合MiniMax和DeepSeek双LLM模型处理结构化查询和语义问答。部署采用7个Docker容器编排，支持自然语言提问、SQL查询和语义检索三种查询模式。项目实现了从视频采集到智能问答的完整链路，为视频内容的高效检索提供了解决方案。（字数：149）

2026-06-03 16:28:47 492

原创 FnOS安装

自去年上班以后，很久没写博客了，主要原因还是没有持续的学习新技术，没有毕业之前害怕自己无法就业，一直逼迫自己不断的学习新的内容，去年毕业也算是有了一个不错的收获，找到了一份朝九晚六有双休的工作，经常还能摸摸鱼（小小得瑟一下），但迎来却是迷茫，每天下班就是打游戏，偶尔去健健身，我这人就是闲不下来，所以最近做了我一直想做但没有做的事，组装了一台属于我自己的服务器，在系统版本上，经过了几次实验，最终选择了现在市面上比较热门的飞牛OS，以后写博客可能不会成体系的编写了，更多的是类似随笔的内容。

2025-04-15 18:27:46 1458

原创 docker:打包和别名

上周公司让做一个项目迁移，将项目迁移到docker中，其中涉及到了打包和别名，但是公司的内容不能拿出来了，所以用我自己的项目做一个记录。以上就是最近遇到的有关别名和打包遇到的问题。

2024-07-17 09:49:23 1062

原创 Oracle的安装以及一些相关问题

一段时间没更新，主要最近一直在找工作，最终还是顺着春招找到工作了，现在已经入职一周了，以后可能会开个专栏记录一些工作中的bug。因为公司使用oracle数据库，所以这周搞了不少oracle的东西，现在记录一下。这次就写到这，我以往是按照章节来写博客，以后可能会相对更新多一些但更杂一些，看具体情况吧。

2024-05-22 17:06:22 609

原创第二章：K8s组件

上一次我们完成了k8s学习环境的安装，这次我们记录一些常用的k8s组件和常用的命令常见的k8s使用基本就这些，为了更快的学习一门技术，我没有搭建完整的k8s集群，一些服务我也只做了最基础的配置，比较适合一项技术的入门。

2024-04-02 14:09:04 1137 1

原创第一章：K8s环境安装

之前学完了Docker，然后一直想学习一下k8s，但苦于没有找到合适的教程，也是最近找的一篇快速入门的教程，快速的过了一遍。主要还是想横向拓宽一下自己的技能书，现在不流行技术深造了，流行牛马工作，一个人要干多个人的活。这是官方的原话。然后放一下机翻。简单来说，是一个跨平台的软件，可以在一个单节点上快速搭建一个k8s集群，一般用作学习阶段。基础的k8s环境就创建完成了，为了快速入门，我没有创建完全的k8s集群，所以以上内容，只能用于练习ks8，生产环境的安装和部署，不能这样操作。

2024-03-30 11:21:17 1197

原创幻兽帕鲁游戏搭建（docker）

这段时间一直在写论文还有找工作，也没学啥新技术，所以博客也很长时间没写了，但开年有个游戏爆火，所以我也弄来玩了玩，由于可以搭建私人服务器，所以我趁着过年很多云服务器厂商打折买了个8H16G的云服务器，搭建个私服玩玩，没想到运维个游戏服务器也确实很锻炼人，搭建过程中也遇到了很多问题，所以今天从头记录一下。注意本博客适合有运维基础的人学习，没有的就别看了。

2024-03-19 16:49:56 4871

原创 docker：Haoop集群

年前学习了docker的相关知识，过年休息了多半月，现在开始继续学习，这次要完成我之前多次做实验的一个设想，就是用docker进行Hadoop集群部署，真正的完成一次构建，导出运行。至此集群的基本框架搭建完毕，可以更加自己的需要选择保存镜像或者上传仓库。

2024-02-22 21:51:33 1388

原创 docker:Web迁移

上一次博客完成了环境的安装，这次就把在服务器的所有项目，在docker中进行重构，方便以后的迁移，我把我的Web项目按端口进行了拆分，所以一共需要三个容器，分别是使用80端口的Web+wordpress和使用5001端口的Flask项目，以及提供数据的Mariadb。开始之前先用sudo -i进行提权。apt update然后用ip测试一下。docker容器化技术就到这里，以后有需要补充的再说。

2024-01-21 18:14:27 1474

原创 docker：环境安装

docker：环境安装因为CentOS7确定停服时间为6月30日，虽然对我这种小虾米没啥影响，但还是考虑一下新服务器系统的选择，最后综合考虑了以下，选择了Debian系最新的Debian12.4，还能维护好几年，再加上我自用deepin为主操作系统，对apt命令也比较熟悉，所以选择Debian12，选定服务器之后，就要对项目进行迁移，我服务器里部署了3个不同的网站项目，分别运用了Apache，Falsk，PHP，Centos7很多包都比较旧，还要自己编译运行，维护起来也是老麻烦了，让他们能运行在同一个服务器

2024-01-17 19:13:59 2679

原创物流实时数仓：数仓搭建（DWS）二

上一次的博客中，我们编写了很多第三方的工具类，所以剩下的内容搭建会简单一些。至此实时数仓的DWS层就搭建完毕了，并且代码已经全度推到了github上。

2024-01-05 15:20:37 1357

原创物流实时数仓：数仓搭建（DWS）一

这次博客，我们进行各机构分拣次数的统计。统计当日各机构的分拣次数，并补充城市、省份等维度信息，写入ClickHouse对应表。要求每十秒钟更新一次统计结果。大体流程如图。以上就是这次博客要更改或创建的java文件。至此，Dws的部分搭建就结束了，为了方便进行文件管理，我把项目开源到了github上。项目地址：https://github.com/lcc-666/tms-parent。

2024-01-03 16:50:00 1563

原创物流实时数仓：数仓搭建（DWD）二

这次博客我们完成剩下的DWD层的建设由流程图可知，我们还需要编写两个Flink程序提示：以下是本篇文章正文内容，下面案例可供参考至此数仓Dwd层搭建完成。

2023-12-18 09:09:59 416

原创物流实时数仓：数仓搭建（DWD）一

这次博客我们进行DWD层的搭建，内容比较多，一次可能写不完。以上就是本次博客需要完成的内容，简单来说就是，从kafka读取数据，然后根据不同的关键字，将其从主流中进行分离，然后在写入各自的kafka中以便后续的操作至此这篇博客的内容结束。

2023-12-14 10:02:33 839

原创物流实时数仓：数仓搭建（DIM）

这次博客记录一下有关数仓的DIM层建设，不知道一次能不能完成这时目前的大概流程。红框中就是我们要完成的DIM操作。我们需要从Kafka中读取数据，和配置表信息进行比较和处理进而传递到下游写入hbase。至此DIM层的搭建已经完成。

2023-12-05 10:39:45 660 4

原创物流实时数仓：数仓搭建（ODS）

现在我们开始进行数仓的搭建，我们用Kafka来代替数仓的ods层。基本流程为使用Flink从MySQL读取数据然后写入Kafka中至此ODS搭建完成。

2023-11-24 11:45:37 1344

原创物流实时数仓：采集通道搭建

之前学校安排了实训，所以有一堆事情要处理。现在基本算是搞完了，继续进行学习的提升，这次进行的是实时数仓的学习，可以算是大数据学习的最后阶段了。以下是实时数仓的框架图。至此，物流实时数仓采集通道搭建完成。

2023-11-20 10:23:48 941

原创算法题：平均数为k的最长连续子数组

平均数为k的最长连续子数组

2023-11-08 11:20:54 1416 2

原创 Hudi第四章：集成Hive

本来关于Flink还有一些内容，但剩下的我了解过之后，觉得并不是很常用，而且比较杂，所以还是决定需要的时候再学习吧。hudi的内容暂时就到这里，学习的过程中觉得hudi的技术还不是很成熟，很多地方的依赖需要自己修改，所以这次就不再进行太深层次的学习了。

2023-10-17 11:10:17 779

原创 Hudi第三章：集成Flink

之前的两次博客学习了hudi和spark的集成，现在我们来学习hudi和flink的集成。flink第一次就先写到这里剩下的还要在写一次。

2023-10-09 16:50:17 541

原创 Hudi第二章：集成Spark(二)

这次我们将hudi集成Spark补充完整。课程后边其实还有一些调优的内容，想了想还是没有写下了，用的时候再说吧。

2023-10-01 15:02:13 929

原创 Hudi第二章：集成Spark

Hudi可以使用Spark作为搜索引擎。我们写博客记录一下，不知道一次能不能写完。这一次就写到这里，东西比较多，关于Spark的东西还要在写一次。

2023-09-30 15:08:47 1666

原创 Hudi第一章：编译安装

Apache Hudi（发音为“连帽衫”）是下一代流数据湖平台。Apache Hudi 将核心仓库和数据库功能直接引入数据湖。Hudi 提供表、事务、高效的更新插入/删除、高级索引、流式摄取服务、数据聚类/压缩优化、和并发性，同时将数据保留为开源文件格式。Apache Hudi 不仅非常适合流式处理工作负载，而且还允许您创建高效的增量批处理管道。

2023-09-24 19:01:51 1708