- 博客(658)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 增强学习和蒙特卡洛树搜索算法详细解析
阿尔法狗（AlphaGo）是谷歌旗下DeepMind开发的一个著名的增强学习算法，它在围棋领域取得了显著的成就。本文主要探讨其中两个重要的算法：增强学习算法和蒙特卡洛树搜索算法。
2023-11-16 14:23:39
1292
原创 人工智能：CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的知识梳理
CNN 主要用于处理图像数据，RNN 用于处理序列数据，而 DNN 是一个通用的深度神经网络架构，可以应用于各种不同类型的数据。这些神经网络架构也可以结合使用，以解决复杂的多模态问题。
2023-10-24 17:58:05
9717
6
原创 Hadoop简介之望见数据湖
1 Hadoop概述随着信息化时代的来临，数据信息呈爆炸式增长。IBM的研究称，90%的人类文明数据是近两年产生的，而到了2020年，全球产生的数据量将是今天的44倍。传统的方法已难以应对越来越多的海量数据，因此海量数据的处理方法成为研究热点。大数据技术研究与应用推动互联网产业的快速发展，同时企业也促进了大数据技术的“新陈代谢”。在国外的计算机行业，Yahoo，Linkedin，Fackbook，eBay等企业都着手搭建Hadoop平台，努力推动Hadoop技术的发展并完善Hadoop项目。在国内，随着
2020-09-28 15:09:37
2799
2
原创 Greenplum安装时修改gpssh-exkeys中SSH免密登录端口
SSH免密登录的默认端口号为22，如果需要使用2226端口，可以修改如下地方298 def testAccess(hostname):299 '''300 Ensure the proper password-less access to the remote host.301 Using ssh here also allows discovery of remote host keys *not*302 reported by ssh-keyscan.303...
2020-09-08 14:13:29
3492
2
原创 jina-reranker-v3模型部署
本文介绍了jina-reranker-v3模型的三种部署方案：1）使用FastAPI+transformers构建生产级服务；2）通过sentence-transformers进行简易调用；3）Docker容器化部署。重点强调了该模型作为cross-encoder不能通过vLLM部署，并提供了完整的API实现代码、调用示例及性能优化建议。同时给出了标准的RAG流程架构建议，将reranker作为独立服务嵌入向量召回和LLM之间，实现20条文本约80ms的推理延迟。
2026-04-10 10:18:55
6
原创 linux启动定时任务的简单方法
摘要：本文提供了两种在Linux系统定时执行一次性任务（如docker pull）的方案： at命令（推荐）：安装at后，通过echo "命令" | at 时间设置任务，自动执行一次，支持atq查看和atrm删除。 cron方案：编辑crontab添加任务，但需手动或脚本删除避免重复执行。 复杂脚本场景（如conda环境下载大模型）： 必须通过source加载conda或直接使用绝对路径，避免环境失效。 建议添加日志记录和错误处理，确保大文件下载稳定性。最终通过at定时触发脚本即可。 关
2026-04-08 16:15:13
8
原创 kinbana中无法在discover中显示在ES中创建的索引--解决方案
登陆kinbana平台后，在discover中进行搜索，却发现没有自己已经创建好的索引。在左上角找到stack Management。最后就可以在discover中查看了。然后找到kinbana 的索引模式。然后写入你的索引名称即可。
2026-03-19 11:26:35
46
原创 《妖猫传》全方位深度解析：一场极致唐风的幻象与人性的回声
《妖猫传》是一部极具视觉冲击与审美野心的电影，通过妖猫复仇案层层揭开杨贵妃死亡真相，探讨权力、美与毁灭的永恒命题。影片以唐代实景重建为基础，运用华丽色彩与流动镜头营造盛唐幻境，同时通过嵌套式叙事结构展现历史记忆的扭曲。配乐与诗歌吟诵赋予影片史诗般质感，而张榕容、黄轩等演员的表演则呈现了角色在权力与情感中的挣扎。最终，影片超越了悬疑外壳，成为一曲关于美被毁灭的盛唐挽歌，质疑历史书写的同时也展现了对东方美学的极致追求。
2025-11-20 09:51:37
1664
原创 电影中的空镜美学
空镜”并不只是“没有人的镜头”。它通常指：在叙事节奏中，暂时脱离人物行动、以环境、物件、光影、空间或时间流逝为主体的镜头。它是叙事与静观的过渡空间，一种让影像“自我思考”的时刻。《花样年华》中空荡的走廊、风吹过的窗帘。《小偷家族》里电车驶过的街道。《东京物语》中空无一人的榻榻米房间。《银翼杀手2049》中废墟城市、雾中的街景。这些镜头虽然“无事发生”，但正是影片最深层的情感与哲学载体。层面功能 / 含义美学视觉留白、节奏呼吸、形式诗意叙事情绪过渡、象征暗示、结构衔接。
2025-10-15 14:27:14
1883
原创 电影的视觉语言--灯光通过窗户照射出的人物剪影
维度含义情感孤独、隔离、疏离象征命运、灵魂、宿命、界限哲学存在的模糊、自我与外界的张力叙事角色转折、心理暗示、命题隐喻视觉光与影的诗意平衡，形式与内容的共振。
2025-10-15 14:17:40
1280
原创 电影光影设计类型与代表电影赏析
电影中光影设计（cinematography lighting / 光照设计）非常关键，不同类型的光影（亮度、对比、角度、色温、硬光柔光、光源位置等)可以带来完全不同的情绪、风格与叙事效果。下面我从前瞻性的视角梳理几种主要类型 + 代表电影 + 场景分析。你要的话我也可以专门找中文经典电影的例子。
2025-10-10 16:58:08
1472
原创 张开宙导演光影美学研究
张开宙导演执导的电视剧在光影处理上常被观众和业内诟病，也有赞誉。在《知否知否应是绿肥红瘦》中，他为了还原宋代氛围，大量依靠低强度的蜡烛光源来营造夜景。正如分析文章所述：《知否》夜晚场景几乎“不使用天井大灯，而是选取难度较大的光源：蜡烛”。剧中典型的侯府夜宴、主人公夜灯前情景，都采用多支小烛光照明，形成柔和、朦胧的烘托效果，使人物形象在暗部与明部之间对比明显，营造出如油画般的立体感。例如剧照中，熹贵妃与盛明兰对坐烛光下，从前侧和背后引来的暖色蜡烛光将人物分割开来，既表现出当代自然灯光的特点，又满足了清晰度需求
2025-10-10 16:23:34
917
原创 vllm部署Qwen/Qwen3-Next-80B-A3B-Instruct模型
Qwen3-Next-80B-A3B模型采用混合注意力和高稀疏度MoE架构，显著提升长文本处理能力。通过vLLM框架部署，支持4块GPU并行推理，实现高效服务化。测试显示该模型在保持高性能的同时大幅降低计算成本，特别适合超长上下文任务。部署过程包括镜像准备、模型下载、Docker配置和API测试等步骤，最终通过OpenAI兼容接口提供服务。
2025-09-26 14:55:18
2333
原创 git clone vllm
vLLM安装失败问题分析及解决方案 安装vLLM时出现RPC错误，原因是pip从GitHub克隆仓库失败（HTTP2协议问题或网络不稳定）。提供4种解决方案： 禁用HTTP/2：设置git config --global http.version HTTP/1.1后重试 手动克隆仓库再安装 使用国内镜像（如Gitee） 安装PyPI稳定版（非最新） 推荐优先尝试方案1，若无效则采用手动克隆方案2。国内用户建议使用方案3镜像安装。
2025-09-16 15:34:19
695
原创 基于rag的代码实例-实现数据问答-ollama+milvus
RAG智能问答系统摘要：该系统基于检索增强生成技术，整合数据处理、向量检索、结果重排序和LLM生成功能。核心流程包括：1）从JSON格式问答数据构建Milvus向量库；2）使用BGE模型编码用户查询并进行相似度检索；3）对结果重排序后调用Ollama本地模型生成回答。系统采用模块化设计，支持环境变量配置，适用于汽车销售顾问等知识问答场景，需依赖Milvus和Ollama服务运行。
2025-09-05 11:26:42
262
原创 LangChain vs LangGraph vs LlamaIndex 深度解析
局限：流程编排和多 Agent 管理需结合 LangGraph/LangChain。优势：复杂流程、长期运行任务、生产级 Agent。：多格式数据摄取（文档、数据库、API、音视频）：最新版本支持基于数据的多步骤工作流和工具调用。局限：链式模型缺少对复杂流程的天然支持。LangChain/Graph 负责。优势：数据检索和知识库场景无可替代。局限：学习曲线较陡，初学者门槛高。：根据查询提取相关 Node。LlamaIndex 负责。：RAG 问答、上下文对话。优势：组件丰富，生态成熟。
2025-09-05 11:16:06
240
原创 我的创作纪念日
提示：你过去写得最好的一段代码是什么？提示：当前创作和你的工作、学习是什么样的关系。提示：可以和大家分享最初成为创作者的初心。提示：在创作的过程中都有哪些收获。提示：职业规划、创作规划等。
2025-09-01 15:20:48
342
原创 通过接口的形式访问ragflow的agent服务
Authorization 为上一步创建的API key。注意：chat模型需要在设置里进行配置。本文用的是官网的demo。agent_id 获取。部署教程请参考之前的。postman 设计。
2025-08-26 16:49:18
185
原创 数据爬虫工具【八爪鱼】循环爬取内嵌链接流程
除了需要爬取基本信息外，还需要爬取内置链接的详情页面，如点击后进入的下一级页面。2. 点击开始采集，页面会自动获取采集数据。3. 添加一个新的字段用于下一详情页面链接。这种情况怎么去处理呢？4. 设置下一界面跳转。5. 自动采集页面设置。
2025-08-06 11:42:23
10066
原创 llamafactory-cli train 训练参数解析
本文介绍了launcher.py脚本的训练参数配置选项，主要包括模型加载、量化、数据处理和导出等关键参数设置。模型相关参数支持指定预训练模型路径、适配器配置、词表调整和注意力机制选择等功能；量化参数提供多种量化方法（bnb/gptq/awq等）和位宽设置；数据处理参数涵盖图像/视频/音频的预处理选项；导出参数支持模型量化导出和格式转换。此外还包括数据集处理、评估指标和训练策略等配置选项，为模型训练和推理提供全面的参数控制。
2025-07-21 10:02:10
397
原创 安装llama-factory报错 error: subprocess-exited-with-error
推荐方案：如果你现在是在 conda 环境里（llm_train），最简单、最干净的做法就是。
2025-07-14 11:11:07
453
原创 大模型rag增强检索之ragflow安装部署
永久设置，编写/etc/sysctl.conf文件，修改参数。若docker compose版本过低，更新。不满足要求，临时重设参数。
2025-06-26 13:39:02
230
原创 GRPO参考代码
摘要： 群体相对策略优化(GRPO)是一种创新强化学习算法，通过组内响应比较优化策略。其核心特点包括：(1)无价值网络依赖，通过生成G个候选响应并计算归一化奖励作为优势值；(2)结合PPO的裁剪机制和KL正则项确保训练稳定性；(3)目标函数包含策略比值、裁剪优势和KL惩罚项。实验证明，GRPO在多智能体环境中能有效提升策略性能，计算效率优于传统PPO。实现上，算法循环执行数据收集(并行生成候选)、群体优势计算(归一化奖励)、策略梯度更新(含裁剪)等步骤，适用于语言模型强化和协同智能体训练场景。
2025-06-16 17:10:36
192
原创 AI大模型RLHF相关的DPO,PPO,GRPO,DDPG算法解析
大型模型增强学习中，PPO、DPO、DRPO和DDPG是核心算法。PPO通过截断策略更新实现稳定优化，广泛应用于RLHF；DPO简化流程，直接利用偏好数据优化策略；DRPO增强奖励鲁棒性，应对噪声和不确定性；DDPG则结合策略和价值网络处理连续动作空间。这些算法分别从稳定性、效率、鲁棒性和连续性角度推动大型模型与人类偏好的对齐。
2025-06-16 16:14:57
406
原创 python的json模块中的dump、dumps、load 和 loads方法的区别与联系
json 模块主要提供了四种方法来处理JSON数据：dump、dumps、load 和 loads。
2025-06-13 10:14:54
482
原创 多模态之智能数字人
多模态下智能数字人的开发是一个复杂且系统性的工程，它融合了人工智能（AI）、计算机图形学、自然语言处理（NLP）、语音技术、计算机视觉（CV）等多个前沿领域。
2025-06-04 17:21:36
318
原创 商务合同范本智能审核系统 AI 大模型处理方案
AI智能合同审核系统基于AI大模型构建，旨在自动解析商务合同，识别法律风险点（如权责失衡、条款模糊等），并通过企业合规数据库比对提供专业修改建议。采用“预训练大模型+RAG+领域微调”架构，包含数据层（合同库、合规知识库）、预处理模块（文本解析、条款分类）、核心AI层（法律领域微调模型、风险识别）及审核报告生成模块。系统工作流程涵盖合同上传、风险识别、合规比对、修改建议生成及可视化报告输出。关键挑战包括法律数据稀缺性、模型幻觉问题等，将通过专家合作、RAG增强等技术应对。实
2025-06-04 17:06:15
456
原创 ERP、OA、CRM三个企业管理软件的区别与联系
企业信息化三大系统对比： ERP（企业资源计划）聚焦企业内部资源整合，覆盖财务、供应链、生产等核心业务流程，实现全局数据集成与优化；OA（办公自动化）侧重日常行政事务管理，通过工作流、文档管理等提升办公效率；CRM（客户关系管理）专注客户全生命周期管理，涵盖销售、营销和服务等环节。三者分别对应企业内部资源优化、行政效率提升和外部客户关系管理三大维度，大型企业往往需要三者协同配合，形成完整的企业信息化体系。
2025-06-03 10:34:15
226
原创 模型微调之对齐微调KTO
KTO旨在通过优化知识从预训练模型向微调模型的转移过程，使得微调后的模型能够更好地遵循人类指令，提高模型在特定任务上的性能，同时保持模型的泛化能力。它主要关注如何在微调过程中有效地利用预训练模型的知识，减少过拟合，增强模型与人类期望输出的对齐程度。
2025-05-29 15:25:07
335
原创 模型微调之指令微调SFT和参数高效微调PEFT
摘要：指令微调（SFT）通过标注数据优化大语言模型的任务性能，而参数高效微调（PEFT）技术（如LoRA）仅调整少量参数即可实现高效训练。两者结合能在降低计算成本的同时提升模型指令遵循能力。实际应用中，需准备高质量指令数据集（如Alpaca），选择基座模型（如Llama3），并借助LLaMA-Factory或Hugging Face TRL等工具实现SFT与PEFT的协同优化，典型流程包括数据预处理、LoRA配置和模型训练。
2025-05-29 14:59:24
539
原创 rag增强检索-基于关键词检索的混合检索模式
Milvus 2.4 开始原生支持 Hybrid 查询，可以直接用关键词 + 向量同时搜！Qdrant 支持 “filter + vector” 的查询，很丝滑。→ 先关键词召回，再向量检索排序，或者两者结合。
2025-04-27 15:10:19
478
原创 Milvus如何实现关键词过滤和向量检索的混合检索
Milvus 支持混合检索，即同时进行向量检索和基于关键词或其他属性的过滤。通过在查询时使用 `expr` 参数，你可以轻松地将关键词过滤与向量相似度检索结合起来，以实现更精确和高效的数据检索。
2025-04-27 14:19:43
862
seatunnel 支持hive jdbc
2023-07-28
dataCollection安装jar包0.07版本
2023-01-16
hbase-manager安装包，已编译
2022-11-14
大数据之湖仓一体，未来如何发展
2024-04-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人