- 博客(1518)
- 资源 (11)
- 收藏
- 关注
原创 Linux 的Ctrl + Z、bg、fg 和 kill 等命令
摘要:Linux系统中Ctrl+Z、bg、fg和kill是管理进程的关键命令。Ctrl+Z暂停前台进程,bg让暂停的进程在后台继续运行,fg将后台进程调至前台,kill用于终止进程(支持多种信号)。结合jobs命令查看作业状态,这些工具能有效管理终端中的多任务处理,适用于需要暂停/恢复进程或后台运行长时间任务的场景,提升命令行工作效率。(148字)
2025-11-19 16:37:16
862
原创 使用WinBoat在Linux中安装window应用
摘要:WinBoat是一款14K+ Star的开源工具,帮助Linux用户无缝运行Windows应用。基于Docker容器、FreeRDP和KVM虚拟化技术,提供优雅的Electron界面,支持一键安装、文件共享和资源监控。能运行单应用或完整桌面环境,特别适合开发办公等场景。特性包括:原生窗口集成、自动化部署、跨系统文件共享和活跃社区支持。目前处于0.9.0测试阶段,采用MIT许可,适合需要跨平台兼容的Linux用户和开发者团队。
2025-11-05 17:04:52
623
原创 BettaFish舆情监控
"微舆"是一款创新型多智能体舆情分析系统,通过AI驱动实现全网舆情监控与深度分析。系统整合30+社媒平台数据,采用五大专业Agent协同工作,具备多模态内容解析、公私域数据融合和智能报告生成等核心功能。其创新性体现在"论坛式"协作机制,通过辩论式思维碰撞提升分析质量。系统采用模块化设计,支持快速部署和扩展,既能满足舆情分析需求,也可灵活适配金融等垂直领域。目前支持情感分析、热点追踪等功能,未来计划增加基于历史数据的预测模块。项目开源且提供云数据库服务,适用于学术研究和
2025-11-05 09:31:05
1235
原创 基于大语言模型(LLM)的多智能体应用的新型服务框架——Tokencake
Tokencake是首个以KV Cache 为中心、专为LLM 多智能体应用设计的服务框架。通过智能体感知的空间分区与预测驱动的时间卸载/加载机制,有效解决了多智能体场景下的资源争用与缓存闲置问题,在真实负载下显著优于现有系统。原文:大型语言模型(LLM)正越来越多地应用于需要外部函数调用的复杂多智能体场景中。这类工作负载给KV Cache带来了严峻的性能挑战:空间竞争会导致关键智能体的缓存被驱逐,而时间利用率低下使得运行工具调用等待期间,停滞的智能体缓存长时间闲置于GPU内存中。针对上述挑战,
2025-11-04 16:33:23
1143
原创 DepCache:面向GraphRAG的依赖注意力与KV Cache管理框架
摘要:针对GraphRAG系统存在的冗余计算和缓存复用效率低问题,研究者提出DepCache优化框架。通过依赖注意力机制(仅计算相关实体间的注意力)和图结构感知的KVCache复用策略,配合创新的LACR缓存替换算法,在Llama3等模型上实现:首Token延迟降低1.5-3.2倍,吞吐率提升1.5-5倍,缓存命中率提高6.7%-10.1%,同时保持生成质量。实验验证了结构感知微调和图KV复用的关键作用,为知识密集型LLM应用提供了高效推理方案。(149字)
2025-11-04 13:37:26
764
原创 Claude 新推出的AI 技术Skills
Claude Skills是一种模块化能力包,包含详细说明文档、脚本模板和资源文件,可让AI高效执行特定专业任务(如文档处理、数据分析)。其核心优势在于可组合性、可移植性和高效性,能提升40%效率并减少35%错误。与MCP(主要连接外部系统)不同,Skills更专注于工具处理,两者可互补使用。官方已开源12个Skills,用户可通过简单命令安装使用。Skills通过预封装标准化流程,避免了传统方式中反复生成代码的环节,实现"一键式"高效输出。
2025-10-24 16:42:54
1034
原创 spark动态分区参数spark.sql.sources.partitionOverwriteMode
摘要:Spark SQL的spark.sql.sources.partitionOverwriteMode参数控制分区覆盖行为:static模式会清空全表只保留本次写入分区,而dynamic模式仅覆盖匹配分区。Hive动态分区插入时,Spark 2.3+版本默认使用static模式会导致所有分区被意外覆盖。需将该参数改为dynamic并配合hive.exec.dynamic.partition参数使用,才能实现安全的分区覆盖。建议通过show create table确认表版本,避免数据丢失风险。
2025-10-23 13:26:59
291
原创 Magnus:面向大规模机器学习工作负载的综合数据管理方法
Magnus是一个专为大规模机器学习工作负载设计的创新数据管理系统。针对传统数据湖表格式在存储效率、元数据管理和更新性能等方面的不足,Magnus提出了多项优化方案:1)自主研发Krypton列式格式和Blob多模态格式,显著提升存储和读取效率;2)通过消除冗余统计信息和构建索引优化元数据管理,使解析效率比Iceberg快5-26倍;3)支持轻量级的列级更新和主键Upsert机制;4)针对LLM和LRM等大模型训练场景,采用双表设计和分片机制进行优化。实验表明,Magnus在存储空间、读写性能和训练效率上均
2025-10-17 15:33:44
1111
原创 RAG优化:基于现代 SSD 的向量数据库性能优化总结
本文针对基于磁盘的向量数据库在AI应用中的I/O瓶颈问题,提出三项优化pgvector的核心技术:1)采用io_uring实现并行I/O,充分挖掘SSD并发性,查询QPS提升8.55倍;2)空间感知插入重排序提升缓存命中率,增量场景下保持74.35%命中率;3)局部性保留共置优化存储布局,使100M数据集缓存命中率仍提高2.7倍。实验表明,优化后的系统在真实数据集上实现查询吞吐量最高提升11.1倍,索引构建时间减少98.4%,且支持动态更新,性能超越DiskANN等静态系统,为RAG等实时AI应用提供了高效
2025-10-17 15:05:53
990
原创 大模型LoRA微调笔记
本文简要介绍了微调过程的关键环节。研究使用魔搭社区提供的免费GPU资源进行模型训练,充分利用了该平台的计算资源。同时,详细说明了训练数据的来源和应用方式,展现了完整的数据使用流程。这些技术要素共同构成了模型微调的基础条件,为后续优化工作提供了必要支持。通过合理配置这些资源,确保了微调过程的顺利进行。
2025-09-28 17:38:24
299
原创 LoRa炼丹微调
摘要:LoRa训练中,学习率的设置需根据图片复杂度调整。简单图片使用较低学习率(如9e-6),避免过拟合;复杂图片则需提高学习率(如1e-5)以获得更好的训练效果。这一策略有助于平衡模型的学习能力与泛化性能。
2025-09-26 17:11:03
209
原创 利用CPU部署大模型
文章摘要: 本文针对中小企业预算有限的情况,提出了一种在CPU服务器上实现低成本AI推荐的技术方案。通过模型量化(压缩模型体积)、Ollama(简化CPU推理)和Redis缓存(避免重复计算)三大关键技术,将月度成本从1.8万元降至600元。虽然CPU方案的延迟(800-1200ms)和并发(8-12次/秒)低于GPU方案,但通过缓存优化,完全适用于非实时的中小规模场景。该方案证明了在资源受限时,工程师可通过技术组合实现降本增效,特别适合业务初期的中小团队验证AI可行性。
2025-09-26 16:05:30
810
原创 利用大模型来做时间序列的预测
本文介绍了时间序列分析中的关键技术:1)Transformer架构及其改进版Informer,通过特征提取解决长尾问题;2)TimesNet将一维时序数据转换为二维;3)傅里叶变换分解影响因素并量化重要性。重点阐述了利用大模型实现文本域到时间域的映射方法:通过全连接层将时间片段(如缓慢下降、平缓上升)与文本patch绑定,使大模型适应时序分析。该方法结合了1D-2D转换、卷积特征提取等技术,为时序数据处理提供了新思路。
2025-09-23 17:32:29
319
原创 深度学习篇GRU---LSTM和RNN的折中方案
GRU(门控循环单元)是LSTM的轻量化版本,通过简化结构(仅保留更新门和重置门,合并隐藏状态与细胞状态)解决RNN的长期记忆问题。类比为"智能旅行背包",GRU能高效筛选关键信息(如"我上周去北京")而忽略冗余内容(如"了")。相比LSTM的3门2状态结构,GRU计算量减少约1/3,在实时语音转写、短视频字幕生成等对速度敏感的中短序列任务中表现优异,实现"效果接近LSTM但更快"的平衡。其核心优势在于用更少参数完成记忆管理,成
2025-09-18 15:15:27
811
1
转载 计算机视觉-读题卡
本文介绍了基于OpenCV的答题卡自动识别与批改系统实现方案。通过图像处理技术,系统能够自动完成答题卡识别、答案提取和评分计算,显著提高批改效率和准确性。核心流程包括:图片预处理(去噪、增强)、边缘检测、轮廓提取与筛选、透视变换矫正倾斜、阈值处理突出填涂区域、选项轮廓提取与排序、答案比对和分数计算等9个关键步骤。系统首先对答题卡图像进行灰度化和边缘检测,定位答题卡主体轮廓后通过透视变换矫正倾斜,再使用阈值二值化突出填涂区域,最后通过轮廓识别和像素统计方法确定填涂答案,并与标准答案比对计算得分。该方法有效解决
2025-09-18 10:42:27
205
原创 3D 大模型生成虚拟世界
斯坦福教授李飞飞创业公司WorldLabs发布空间智能模型Marble测试版,支持通过单张图片或文本生成持久可导航的3D世界。该模型能创建大规模、风格多样的3D环境,支持自由视角探索和场景拼接,并可将生成的高斯点云导出用于下游项目。相比同类产品,Marble强调永久存在性和免费使用特性,目前已开放白名单申请。
2025-09-17 15:58:13
1155
原创 Google 新 LLM 仅需 0.5GB 内存即可运行——如何在本地对其进行微调
几天前,Google 悄然发布了一款小型 AI 模型,名为 Gemma 3 270M。它体型极小,甚至能在配置极低的设备上运行。当然,也不是真的能在“土豆”(指完全无法使用的设备)上运行,但它仅需约 0.5GB 内存。这……基本上相当于没占多少内存。显然,我忍不住想找个有趣的方向对它进行微调,于是选择了国际象棋这个主题。我的目标是:给它一个接近结束的国际象棋棋局,问它“缺失的走法是什么?”,看看它能否准确给出答案。全程离线进行。不需要云端 GPU,也不会产生让我心疼的信用卡账单。
2025-09-17 15:28:44
294
原创 关于MCP Agent的一些优化
摘要:本文针对多智能体协作调度中React模式的应用问题进行了深入分析。在生产环境中,层级指挥模式作为主流方案虽能提升任务完成质量,但仍存在响应延迟、上下文冗余、规划缺陷等性能瓶颈。作者提出五项优化措施:采用流式XML替代FunctionCall提升工具调用效率;实施上下文压缩策略;引入万能Agent兜底机制;优化任务总结输出;建立规划监督机制。实践表明,这些工程优化可有效弥补模型能力不足,但长期来看,采用更先进的基础模型(如Claud)可能更具成本效益。文章为多智能体系统设计提供了有价值的实践参考。
2025-09-17 14:59:58
689
原创 非结构化数据处理LangExtract
LangExtract是一个基于Python的结构化信息提取工具库,利用大型语言模型(LLM)处理非结构化文本。核心功能包括: 采用插件式架构,支持多种LLM后端(如Gemini、OpenAI等) 提供精确的源文本定位和结构化输出 支持并行处理和可视化分析 通过入口点机制实现扩展性 系统特点: 智能文本分块和模糊匹配 提供程序特定的模式约束 架构分层设计,确保模块独立性 支持社区插件集成 主要接口包括提取函数lx.extract()和可视化工具lx.visualize(),适用于临床记录、报告等文本处理场景
2025-09-09 09:49:39
596
原创 好用的一些github项目
Abracadabra(魔曰)是一款开源、安全、高效的文本加密工具,能将数据转换为由汉字构成的文言文格式。该工具完全开源,部署和使用简单便捷。项目源码托管于GitHub(SheepChef/Abracadabra),同时提供CSDN下载渠道(编号91834443)。这种创新的加密方式既保证了数据安全,又赋予加密文本独特的古文风格。
2025-09-01 09:54:34
231
原创 阿里云使用tips
阿里云服务器配置IP与防火墙设置指南:程序内需配置内网IP(私有IP),本地访问时使用公网IP即可。注意阿里云外部设有独立防火墙,需在服务器配置中添加允许访问的端口规则,即使云服务器内部防火墙未开通,也必须在此处完成端口放行设置。操作步骤:进入服务器配置→添加规则→开放所需端口。
2025-08-27 10:35:50
251
原创 阿里云安装postgre数据库
本文介绍了在CentOS8.2上安装和配置PostgreSQL13的完整步骤。首先添加官方仓库并安装PostgreSQL,然后初始化数据库并启动服务。接着配置防火墙允许远程访问5432端口,并修改pg_hba.conf和postgresql.conf文件以启用远程连接。最后指导如何修改postgres用户密码,包括切换到postgres用户、进入psql终端、设置新密码等操作。完成这些步骤后,即可通过新密码远程访问PostgreSQL数据库。
2025-08-25 16:31:11
599
原创 阿里云拉取dockers镜像
本文介绍了为云服务器上的Docker配置镜像加速代理的方法。首先需要获取镜像加速地址,然后编辑或创建/etc/docker/daemon.json文件,配置default-address-pools和registry-mirrors参数。其中registry-mirrors需替换为实际加速地址。配置完成后,需执行daemon-reload和restart docker命令重启服务。设置完成后即可正常使用docker pull命令。该配置能有效提升Docker镜像下载速度。
2025-08-24 09:48:56
441
原创 阿里云的centos8 服务器安装MySQL 8.0
本文介绍了在CentOS8系统上安装MySQL8.0的详细步骤:首先下载并添加MySQL官方YUM仓库,然后通过dnf命令安装MySQL服务器;安装完成后启动服务并设置开机自启;获取自动生成的临时密码登录MySQL,最后修改默认密码并可选运行安全配置。全文提供了完整的命令行操作指引,确保用户能顺利完成MySQL8.0的安装与基础配置。
2025-08-21 18:18:47
611
原创 UNI APP开发-新增tabBar
本文介绍了如何在uni-app项目中配置tabBar功能。通过在page.json文件中添加tabBar相关代码,实现了底部导航栏功能。配置内容包括:设置默认颜色、选中颜色、边框样式和背景颜色,并定义了两个tab页选项——"查数"页(对应DATA页面)和"新闻"页(对应index页面),每个tab页都配置了默认图标和选中图标。此外,还展示了全局样式设置,包括导航栏标题、文本颜色和背景色等。整个配置实现了应用的基本页面导航框架。
2025-08-19 13:31:58
375
原创 playwright 不仅用于爬虫,还可测试自动化
本文介绍了Playwright MCP与Cursor IDE的集成应用,提供了一套完整的无代码自动化测试解决方案。核心内容包括:1)技术优势,通过AI将自然语言指令转化为测试代码;2)5步搭建流程,从环境配置到执行测试;3)高阶应用场景,如电商流程测试、API+UI混合验证等;4)8大效率技巧,包括快照模式和智能等待;5)常见问题解决方案。该组合将测试代码编写时间从小时级压缩至分钟级,使非技术人员也能参与测试设计,显著提升自动化测试效率。
2025-08-15 09:49:33
839
原创 Playwright MCP 在测试自动化应用
《PlaywrightMCP+Cursor完全指南》摘要:该工具组合通过PlaywrightMCP标准化协议和CursorIDE的AI编程助手,实现自然语言驱动的自动化测试。核心优势包括无代码操作、多浏览器兼容、自适应页面变化等功能。配置流程分为5步:安装Cursor、配置Node环境、集成MCP、启动服务器和执行AI指令。支持电商测试、表单自动化、API+UI混合验证等场景,提供8大效率技巧如快照模式和智能等待。常见问题解决方案涵盖启动失败、验证码处理等。最终实现将测试开发从小时级压缩至分钟级,降低技术门
2025-08-15 09:47:40
525
原创 Grafana Tempo日志跟踪平台
Tempo是开源的分布式追踪后端,专注于高吞吐量、低成本存储和与现有监控生态的深度集成。:支持OpenTelemetry Collector/Grafana Agent。:原生集成Logs-to-traces/Metrics-to-traces工作流。:原生支持OpenTelemetry、Jaeger、Zipkin数据格式。:集成AWS S3/GCS/Azure Blob等对象存储。:支持Snappy/Zstandard压缩。:Memcached/Redis多级缓存。:All-in-one容器快速测试。
2025-08-14 16:59:37
556
原创 wireshark学习
然后在 wireshark 中可以看到解密后的 TLS 数据。然后,任务管理器中 关掉Chrome 浏览器, 重新打开Chrome。ps: 数据量太大直接用 捕获过滤器,节约资源。然后,访问 https://nginx.com。然后把log 文件配置到wireshark中,数据保存文件路径地址,地址和文件名随意。quic基于udp,或者说本质是udp。知道 MAC 和 IP地址的对应关系。然后查看,刚配置的路径下的log文件。加载刚生成的 log.log 文件。过滤protocol 协议类型。
2025-08-12 11:11:49
1031
原创 linux centos安装python3.13
sudo make altinstall # 重要:使用 altinstall 避免覆盖系统Python。make -j $(nproc) # 使用所有CPU核心加速编译。# 3. 配置和编译(安装到 /usr/local)# 2. 下载 Python 3.13 源码。# 应显示:Python 3.13.0。# 1. 安装编译依赖。
2025-08-08 14:56:16
620
原创 AI培训学习3-AI数据分析产品
摘要: Workspace ChatExcel 2.0支持多角色报表生成,3.0版本进一步整合上下游业务数据,通过时政热点、关键时间节点(如政策窗口期)及神策数据模板进行深度分析。其价值在于:1) 角色适配性,定制化报表满足不同岗位需求;2) 业务协同,串联上下游数据提升决策效率;3) 动态分析,结合时政与时间敏感数据(如经济指标)揭示业务波动原因。例如,利用神策模板分析政策发布前后的用户行为变化,可快速定位外部因素对业务的影响。
2025-07-17 16:09:18
212
原创 AI培训学习2
不要打扰用户的习惯,比如APP右下角的我的,放到第一个就不合适。Product market 平衡。codebody 小程序发展。coze 和dify 工作流。lovable 网页网站的生成。码上飞 IT产品设计。如何花钱,1分钱买东西。uizard 草图转变。
2025-07-17 15:40:10
170
原创 mcp学习4-chury studio + MCP配置
本文介绍了如何配置ChuryStudio并使用MCP服务。首先下载安装软件后,需配置大模型并获取免费token。接着在MCP广场选择所需服务,复制连接JSON到ChuryStudio完成配置。常见MCP功能包括:SequentialMCP(AI思考规划)、FetchMCP(网页抓取)、NotionMCP(语音笔记)、Zapier(行程规划)、百度MCP(旅行规划)、MiniMaxMCP(音视频生成)、FigmaMCP(网站设计)和BlenderMCP(3D建模)等。配置完成后,选择MCP服务器即可开始使用各
2025-07-15 10:07:30
448
原创 RAG优化
摘要:RAG本地AI知识库存在三大痛点:内容理解不足(如向量编码截断)、信息提取偏差(检索准确性依赖向量编码)和综合分析能力有限(缺乏深度推理)。进阶方案包括:引入重排序模型优化信息提取、采用MCPServer增强数据处理、使用超大上下文模型提升理解能力。相关资源可通过CherryStudio、硅基流动及PostGreSQLMCP等工具获取。(149字)
2025-07-14 17:24:37
279
原创 langgraph学习3 - demo
LangGraph是一个基于状态流转的流程图框架,核心包含四个概念:状态(state)作为数据载体,节点(node)作为处理单元,边(edge)连接节点,以及图(graph)组织流程。其执行逻辑为初始状态输入后,按节点和边的定义顺序处理并更新状态,直至终止。文中展示了两种实现案例:基础流程演示了状态传递和处理过程;条件分支案例则通过条件函数动态选择执行路径。两个案例都遵循定义状态、创建节点、构建边、编译运行的开发模式,体现了LangGraph灵活构建流程的能力,特别是通过条件边实现分支逻辑的特性。
2025-07-04 11:02:50
1066
原创 LLM之KV缓存优化方案--分块驱逐及PruLong
陈丹琦团队针对大语言模型长文本处理中的KV缓存内存占用瓶颈提出创新解决方案。研究引入"KV足迹"作为统一评估标准,综合考虑内存占用和时间维度,并提出两项关键技术:1)分块驱逐技术,在预填充阶段即时丢弃不重要KV条目,使峰值内存降低8倍;2)PruLong训练方法,通过自然文本端到端训练实现注意力头专业化分工。实验显示,在128K长文本任务中最高可降低70%内存占用,性能损失仅10%。该研究为长上下文模型的高效推理提供了系统化解决方案,并揭示了不同技术在召回、RAG等任务中的适用性差异。
2025-06-30 13:53:54
1044
kafka_2.12-3.2.0kafkakakakakakakakakakakakaka
2022-08-05
httpclient-4.3.1.jar httpcore-4.4.13.jar commons-logging-1.2.jar
2022-04-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅