- 博客(290)
- 资源 (3)
- 收藏
- 关注
原创 SimPO(Similarity Preference Optimization)技术详解与工程实现
SimPO是一种无需人工标注的模型优化方法,通过语义相似度构建奖励信号实现模型对齐。其核心是利用预训练嵌入模型自动评估响应质量,计算高效且可零样本适配新领域。技术原理上,SimPO通过对比学习优化生成策略,使优质响应获得更高语义相似度评分。工程实现包含奖励构建、损失函数设计等关键步骤,并可通过嵌入缓存、混合精度等技巧加速训练。在医疗领域应用中,结合专业嵌入模型可进一步提升效果。相比传统方法,SimPO在保持相近效果的同时显著降低计算成本,为资源受限场景提供高效解决方案,但仍存在嵌入质量依赖等局限性。
2025-06-11 18:36:44
2427
原创 RLHF(基于人类反馈的强化学习)技术详解与工程实现
摘要:RLHF(基于人类反馈的强化学习)是一种通过人类偏好优化AI模型的技术,分为监督微调(SFT)、奖励模型(RM)训练和强化学习优化(PPO)三个阶段。核心思想是将人类反馈转化为奖励信号,替代传统奖励函数。工程实现需高质量标注数据,使用PPO算法优化策略,并面临奖励破解、训练不稳定等挑战。未来方向包括高效RL算法、降低人类依赖和多模态应用。RLHF已成为大模型对齐的主流方法,显著提升生成内容的质量和安全性。
2025-06-11 18:32:03
3175
原创 KTO(Kahneman-Tversky Optimization)技术详解与工程实现
KTO(Kahneman-Tversky Optimization)技术详解与工程实现
2025-06-10 20:36:08
3899
原创 DPO(Direct Preference Optimization)技术详解与工程实现
DPO(Direct Preference Optimization)
2025-06-10 20:22:38
3815
原创 大模型微调的主要方式
大模型微调的核心方式包括LoRA、QLoRA、Adapter Tuning、P-Tuning系列、Prefix Tuning、Prompt Tuning等参数高效微调方法
2025-06-07 15:14:02
7228
原创 阿里云人工智能平台PAI介绍(六)
大模型应用开发(LangStudio)是依托PAI产品和阿里云其他云产品能力构建的面向企业级用户的大模型应用开发平台。该平台采用直观的交互式开发环境,简化了企业级大模型应用的开发流程,同时提供了灵活的可编程能力、实时调试能力与链路追踪的能力,让您在构建大模型应用时可对整体性能进行评估与优化。通过一键部署到PAI-EAS,您可以将开发好的大模型应用部署至生产环境提供API服务。
2025-06-06 20:32:19
7986
原创 阿里云人工智能平台PAI介绍(五)
AutoML(自动机器学习)是阿里云PAI平台提供的智能超参调优服务,能够自动搜索最优参数组合提升模型效果。该系统通过定义搜索空间,在实验中进行多组Trial测试,比较不同超参组合下的模型性能,最终找到最佳配置。AutoML HPO服务简化了调参流程,节省计算资源,支持多种任务类型(分类、回归、推荐等)和计算资源(DLC、MaxCompute)。该技术可广泛应用于机器学习各领域,帮助开发者聚焦业务建模而非参数调优,显著提升模型精度和训练效率。
2025-06-06 20:30:37
8392
原创 阿里云人工智能平台PAI介绍(四)
分布式训练DLC是云原生的AI训练平台,支持多种框架的大规模分布式训练,提供高性能计算资源和稳定高效的训练环境。产品优势包括多样算力资源调度、多种分布式任务支持、高稳定性和高性能优化。应用场景涵盖数据预处理、大规模训练、离线推理和AutoML自动调参。同时提供大模型应用开发平台LangStudio,简化企业级AI应用构建流程,支持可视化编排、知识库构建和一键部署,适用于RAG、NL2SQL、多模态交互等场景,帮助企业降低开发门槛并保障数据安全。
2025-06-05 18:38:37
8252
原创 阿里云人工智能平台PAI介绍(三)
摘要: iTAG是PAI产品的智能数据标注平台,支持多模态数据标注,提供预置模板和自定义模板功能。完整标注流程包括创建数据集、任务分发(标注/质检/验收)和结果导出四个环节,支持多种数据格式转换。Designer是PAI的可视化建模工具,提供端到端机器学习开发环境,内置丰富算法组件,支持MaxCompute等多种计算资源。其工作流可快速构建模型并部署至EAS,同时提供可视化分析和大屏监控功能。系统通过PAIFlow引擎调度任务,支持OpenAPI调用和周期性调度。
2025-06-05 18:35:56
9153
原创 阿里云人工智能平台PAI介绍(一)
阿里云人工智能平台PAI为开发者提供一站式AI全链路研发服务,涵盖数据标注、模型开发、训练和部署全流程。平台包含四大核心模块:智能标注(iTAG)提供多模态数据标注服务;可视化建模(Designer)支持低代码开发;交互式建模(DSW)提供云端IDE环境;分布式训练(DLC)支持超大规模深度学习任务;模型在线服务课堂(EAS)实现一键部署。PAI支持多种开源框架,具备AI工程化全流程能力,并提供高性能计算优化,适用于大语言模型、AI绘画、视频生成等多样化场景。该平台通过云原生架构和丰富的预置资源,显著降低A
2025-06-04 21:45:47
10094
原创 Manus AI简介及使用场景
ManusAI是一款智能数据处理分析系统,采用机器学习和自动化技术优化企业决策。核心技术包括实时建模、多模态融合和自适应算法,在工业、金融、医疗领域表现突出
2025-06-03 13:45:06
10990
原创 服务器磁盘格式化、初始化与挂载方法
Linux系统磁盘管理摘要:新磁盘管理流程包括:1)使用lsblk/fdisk-l识别磁盘;2)采用fdisk(小磁盘)或parted(大磁盘)分区;3)用mkfs格式化分区;4)创建挂载目录并临时挂载;5)通过/etc/fstab实现永久挂载。关键点:必须确认设备路径,建议先测试挂载再永久配置。对LVM管理,需额外创建物理卷/卷组/逻辑卷。操作前应备份数据,并根据需求选择合适文件系统(如ext4/xfs)。验证步骤包括mount-a和df-h检查。
2025-06-03 13:40:43
11955
原创 DeepSeek 部署中的常见问题及解决方案
深度学习部署常见问题及解决方案:硬件资源不足时可调整batchsize或模型量化,依赖冲突建议使用虚拟环境隔离。模型加载失败需检查路径处理,显存OOM可通过梯度检查点和混合精度训练优化。推理性能方面,建议采用模型缓存和动态批处理技术。服务高并发场景下需配置负载均衡和限流策略,并注意日志结构化与监控指标完善。安全方面应实施JWT鉴权和模型文件加密存储。关键解决思路包括资源监控、路径规范、性能优化和服务加固等措施。
2025-06-03 13:38:15
11375
原创 JavaScript性能优化实战
本文总结了前端性能优化的关键策略:1.核心目标为提升加载速度、减少卡顿和内存消耗,重点关注FCP/TTI指标,使用Lighthouse等工具检测瓶颈。2.优化手段包括:代码层面采用模块化、批量DOM操作和高效循环;资源加载使用预加载/延迟、压缩和CDN;内存管理注重事件/定时器清理;渲染优化通过硬件加速和虚拟滚动实现。3.建议建立持续监控机制,集成性能预算和自动化测试,并探索WebWorkers、ServiceWorker等进阶方案。通过多维度优化可显著提升用户体验。
2025-06-01 10:59:49
13192
原创 等保测评共性问题v2
本文摘要针对Linux系统(RedHat/CentOS)提出了一套完整的安全测评框架,涵盖身份鉴别、访问控制、安全审计等12个安全控制域。在身份鉴别方面,要求配置密码复杂度、登录失败锁定、SSH加密传输及双因子认证;访问控制层面强调最小权限原则、默认账户管理及SELinux配置;安全审计需确保日志完整性保护与进程防护;入侵防范包含最小化安装、端口管控及漏洞修补机制。同时规范了数据保护措施(加密传输/存储、剩余信息清理)、备份恢复策略(本地/异地备份、热冗余)及可信验证要求。对于无法完全满足的条款(如异地实时
2025-06-01 10:41:22
12953
原创 YApi 可视化接口管理平台
YApi 是高效、易用、功能强大的 api 管理平台,旨在为开发、产品、测试人员提供更优雅的接口管理服务。可以帮助开发者轻松创建、发布、维护 API,YApi 还为用户提供了优秀的交互体验,开发人员只需利用平台提供的接口数据写入工具以及简单的点击操作就可以实现接口的管理。
2025-06-01 10:25:50
12510
原创 MySQL主从数据同步配置
MySQL库表同步配置步骤:先停备库导出数据,修改my.cnf配置同步信息。使用mysqldump导出SQL时添加--master-data参数获取binlog位置,执行CHANGE MASTER TO指定同步起点(如MASTER_LOG_FILE='mysql-bin.000136', MASTER_LOG_POS=154)。注意过滤不需要同步的表(如sys_log),最后启动同步(start slave)。关键参数包括--single-transaction保持事务一致性,-E导出事件,-R导出存储过程
2025-05-30 11:46:05
13858
原创 PSSH-并发在多台服务器上批量执行命令的工具
摘要: pssh(parallel-ssh)是一个Python编写的多服务器批量管理工具,支持并行执行命令、文件传输和进程管理。使用前需配置SSH密钥认证:1)生成RSA密钥对;2)整合公钥为authorized_keys;3)分发到远程主机;4)测试连接。安装步骤包括下载ez_setup.py和pssh包,通过Python进行编译安装。常用功能:pssh执行命令、pscp传输文件/目录、pslurp拉取远程文件到本地(按IP自动归类)、pnuke终止远程进程。注意操作时需明确服务器登录方式和权限。
2025-05-30 11:44:47
13569
原创 OMAHA知识图谱数据对接
GraphRag在知识图谱问答中相比传统RAG具有显著优势,能够通过共享属性连接离散信息点,提供更精准的综合答案。但其仅支持txt/csv/json格式,需预先转换文档,且存在构建成本高、响应速度慢的问题。测试使用OMAHA医疗领域样例数据,对比了HugeGraph、JanusGraph、Neo4j等图数据库的选型特点,其中Neo4j采用Cypher查询语言并提供完善文档支持。整体而言,GraphRag技术虽在语义理解上表现优异,但目前仍存在格式兼容性和性能瓶颈等局限。
2025-05-30 11:37:18
13690
原创 钉钉通过机器人发送卡片消息
本文介绍了钉钉企业机器人的创建与互动卡片应用开发流程:首先在开放平台创建应用并添加机器人能力,随后搭建互动卡片模板;接着详细说明了通过API推送互动卡片到群组或个人的方法,包括获取accessToken、创建群组等关键步骤;最后阐述了机器人消息监听机制,区分了单聊和群聊场景下的消息收发限制,并提及了医疗场景下的实际应用案例。整个过程涵盖了从创建到应用的企业机器人开发全流程。
2025-05-30 11:06:15
12050
原创 钉钉机器人发送卡片消息
钉钉开放平台提供了机器人发送互动卡片的API接口,开发者可通过获取企业accessToken后调用相关接口实现功能。关键注意事项包括:使用新参数时需生成新的outTrackId以确保更改生效,该ID作为卡片幂等标识可用于更新或群发同一卡片。同一cardBizId重复发送时将保持与原卡片数据一致。参考文档和demo代码可帮助开发者快速集成该功能。
2025-05-30 11:04:54
11749
原创 医疗大模型评估概念解释
医疗模型测评关键指标解析 在医疗AI模型中,**召回率(Recall)是核心指标,衡量模型识别真实患者的能力(召回率=TP/(TP+FN))。高召回率对避免漏诊至关重要,尤其在重症筛查中常需超过85%。与之平衡的精确率(Precision)**反映预测阳性的可靠性(TP/(TP+FP)),用于减少误诊。**准确率(Accuracy)**易受数据不平衡影响,需谨慎使用。 F1-score调和精确率与召回率,适用于需平衡误诊/漏诊的场景(如慢性病筛查)。AUC-ROC则评估模型整体区分能力(AUC>0.9
2025-05-30 11:02:37
10231
原创 vectara-HHEM 模型幻觉评估
本文介绍了HHEM排行榜评估大语言模型(LLM)文档总结幻觉率的方法。使用HHEM-2.1商业版和开源版检测模型,对1006个测试问题进行评估。实验比较了Qwen3-32B模型在思维模式(6.5%幻觉率)和非思维模式(3.9%幻觉率)下的表现,以及在线Qwen3-32B(4.9%)和Qwen3-8B(3.4%)的表现。通过transformers库加载评估模型,以0.5为阈值计算幻觉率,值越小表示幻觉概率越高。相关数据集和脚本已在HuggingFace和GitHub开源。
2025-05-30 10:06:05
9962
原创 模型测评-排行榜
本文介绍了多个中文大语言模型评估平台的使用方法。主要包括:1)C-Eval评估套件,提供数据集下载和测评脚本,支持本地运行评估并提交结果;2)OpenCompass司南平台,要求模型上传至Huggingface或ModelScope后提交评估;3)CMB医疗评测基准,需配置环境后运行测试脚本;4)MedBench数字化测评平台;5)MEDIC医疗专用评测。文中详细说明了各平台的数据获取、环境配置、测试执行和结果提交流程,并展示了Qwen2.5-32B-Instruct模型在多个评测中的表现。这些评估体系涵盖
2025-05-30 10:05:07
9361
原创 DPO参数
DPO参数解析摘要 DPO(Direct Preference Optimization)通过对比偏好数据优化模型,核心参数包括: pref_beta(默认0.1):控制偏好强弱的超参数。β越大,模型对偏好差异越敏感(如β=1时更激进,β=0.1更温和)。 pref_loss:损失函数类型,可选: sigmoid(默认):平滑优化偏好差异,适合多数场景; hinge:硬间隔分类,收敛快但可能不稳定。 pref_ftx(默认0):是否混合SFT损失(1=启用),用于稳定训练或防止风格偏离。 示例:若chose
2025-05-30 09:53:59
9541
原创 数据预处理组件、标注技术选型
开源数据预处理与标注工具对比分析 本文对比分析了两种数据预处理方案:基于Langflow的方案具有易用性优势,但存在任务调度、并发执行和资源管理不足的问题;Apache Airflow则提供了专业的工作流编排能力,适合技术人员使用。同时介绍了Label Studio标注工具及其与LangChain的集成方案。两种方案各具特点:Langflow适合快速开发,Airflow适合复杂流程管理。标注环节可采用Label Studio实现,并与LangChain生态结合。整体呈现了从数据预处理到标注的完整技术选型思路
2025-05-30 09:28:17
8950
原创 xinference conda安装
本文介绍了Conda环境配置与Xinference安装部署流程。主要内容包括:1) Conda安装与环境变量配置,使用清华镜像源优化下载;2) 创建Python 3.11虚拟环境并安装依赖包;3) Xinference环境设置,包括GPU可用性检测及PyTorch版本调整;4) Xinference服务的三种启动方式;5) 模型下载方法,通过Web GUI界面管理。文档详细说明了从环境搭建到服务部署的全过程,并针对常见问题(如GPU驱动兼容性)提供了解决方案。
2025-05-28 10:55:47
10266
原创 MinerU 部署
MinerU部署指南摘要:需创建Python3.10的conda环境,安装指定版本的PyTorch(2.3.1+cu121)等依赖库。通过pip安装magic-pdf[full]工具(版本>0.7.0),并下载模型文件。支持CPU/GPU运行模式,需在magic-pdf.json中配置设备类型。GPU加速模式下OCR处理速度可达CPU的10倍以上。系统兼容Linux和Windows,默认用户目录分别为/home/用户名和C:/Users/用户名。
2025-05-28 10:51:05
9207
原创 RabbitMQ消息服务部署
本文详细介绍了RabbitMQ在Linux环境下的安装配置流程。主要内容包括:1)通过rpm包安装Erlang和RabbitMQ;2)解决依赖问题的方案(更换阿里云yum源);3)基本服务管理操作(启动、状态查看等);4)用户权限配置(删除默认用户、创建管理员);5)开启web管理界面;6)防火墙端口设置。文档提供了完整的命令行操作步骤,涵盖了从安装到运维的关键环节,适合作为RabbitMQ服务器的部署参考指南。
2025-05-28 10:27:34
7392
原创 Dragonfly+Harbor部署集成
摘要:Dragonfly是阿里开源的一款基于P2P技术的镜像分发系统,已加入CNCF孵化。其核心组件包括Host(运行客户端的主机)、Peer(下载相同文件的Host)、dfget(下载程序)和SuperNode(调度节点)。工作原理类似BT下载,SuperNode从源获取文件分片并调度Peer间传输,支持断点续传和MD5校验。部署时需配置SuperNode和dfclient,可通过容器快速搭建测试环境。与Harbor集成时需修改Docker配置,支持镜像预热功能,显著提升大规模集群的镜像分发效率。实测表明
2025-05-28 10:23:54
8068
流程规范\研发规范\代码规范\前端\HTML编码规范
2025-04-03
流程规范\研发规范\代码规范\前端\Flutter编码规范
2025-04-03
流程规范\研发规范\代码规范\前端\ESLINT规范
2025-04-03
流程规范\研发规范\代码规范\后端\6.安全规约
2025-04-03
流程规范\研发规范\代码规范\后端\附:专有名词解释
2025-04-03
流程规范\研发规范\代码规范\后端\5.设计规约
2025-04-03
流程规范\研发规范\代码规范\后端\4.工程结构
2025-04-03
流程规范\研发规范\代码规范\后端\1.编程规约
2025-04-03
流程规范\研发规范\代码规范\后端\3.单元测试
2025-04-03
流程规范\研发规范\代码规范\后端\2.异常日志
2025-04-03
Linux系统核心命令与基础架构配置指南
2025-03-25
SQLServer2008教程
2015-07-30
H3C CAS 云计算管理平台 开局指导-E0785及之后版本-5W100-整本手册
2025-04-22
【Linux系统管理】常用命令汇总:磁盘挂载、Docker操作、防火墙配置与服务管理
2025-04-22
H3C CAS云计算管理平台 安装指导-E0785系列-5W113-整本手册
2025-04-22
2025面试经验-阿里云-交付架构师
2025-04-16
2025面试经验-科大讯飞-系统架构师
2025-04-09
2025面试经验-阿里云智能-技术服务专家
2025-04-09
2025面试经验-海康萤石-Java应用架构师
2025-04-09
2025面试经验-京东零售-Java开发
2025-04-09
【信息技术领域】系统试运行保障及应急预案:构建全面的信息系统应急响应机制与试运行保障体系为系统试运行
2025-04-03
流程规范\研发规范\代码规范\前端\React编码规范
2025-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人