- 博客(409)
- 收藏
- 关注
RSS订阅原创 OpenCV常用方法介绍
图像显示图像处理颜色空间转换图像变换滤波与平滑图像阈值与二值化边缘检测形态学操作轮廓检测绘图功能特征检测与匹配视频处理图像金字塔模板匹配Hough变换图像分割与前景提取总结：实用工具函数场景一：工业视觉检测 - 产品缺陷检测 （智能制造 - 工业零件缺陷检测系统）算法融合检测流程检测算法融合策略①、边缘检测（Canny）：适用于检测裂纹、边缘破损②、阈值分割：适用于表面污点、凹坑③、模板匹配：适用于尺寸和形状验证场景二：安防监控
2026-01-11 14:27:28
753
原创 算法设计思想以及分类大纲+算法类竞赛简单介绍
为了有效地选择下一扩展结点，以加速搜索的进程，在每一活结点处，计算一个函数值（限界），并根据这些已计算出的函数值，从当前活结点表中选择一个最有利的结点作为扩展结点，使搜索朝着解空间树上有最优解的分支推进，以便尽快地找出一个最优解。类似于回溯法，也是一种在问题的解空间树T上搜索问题解的算法。对于一个规模为n的问题，若该问题可以容易地解决（比如说规模n较小）则直接解决，否则将其分解为k个规模较小的子问题，这些子问题互相独立且与原问题形式相同，递归地解这些子问题，然后将各子问题的解合并得到原问题的解。
2025-12-31 21:49:22
725
原创 企业级大模型创建与部署全流程（数据集—＞创建模型—＞训练模型—＞评估模型—＞部署模型）
前向传播是数据流动的过程，全连接层和激活函数是构建模型的基础，输出层和任务头决定任务类型，学习率和损失函数驱动训练，反向传播和优化器调整权重，而过拟合是需要避免的陷阱。②、模型架构（任务头+反向传播+）：在预训练模型的基础上，添加任务特定的输出层。①、使用测试集评估模型性能。大模型预训练后，针对不同的下游任务添加的“专用输出层”（后面接不同的任务头来做具体任务，预训练模型通常不包括任务特定的输出层）在NLP任务中，通常在预训练模型的输出之上添加一个或多个全连接层，将模型输出的高维向量映射到任务所需的维度。
2025-12-31 21:17:16
908
原创 大模型部署方式(本地化部署+云端部署+混合部署+边缘段部署)
GPU类型：g5.xlarge（NVIDIA A10G，24GB显存）或p3.2xlarge（V100，16GB显存），根据模型大小调整（如13B模型需g5.2xlarge）CPU≥16核，内存≥64GB（用于加载模型和缓存）可选优化：使用量化工具（如bitsandbytes）将模型从FP32转为4/8位整数（INT4/INT8），降低显存占用（7B模型INT4仅需约6GB显存）编写推理脚本（inference.py）：定义model_fn（加载模型）\predict_fn（处理请求）
2025-12-31 17:27:16
982
原创 企业级大模型训练常见的数据集
企业级大模型训练数据集的特点：常见的数据格式包括：企业级数据集构建流程①、数据收集与清洗②、数据标注框架企业级场景数据集案例一、金融风控场景二、医疗诊断辅助场景三、智能客服场景四、法律文档分析场景五、人力资源招聘场景数据集质量评估与验证数据集质量检查
2025-12-27 10:42:41
339
原创 大模型基础研发（Python语言）VS 传统业务集成应用（Java/C#/Go等其他语言）
Transformer基于注意力机制的神经网络架构【原始结构是“Encoder-Decoder”（编码器-解码器）】，及其变体【Encoder-only只保留“编码器”（理解输入）， Decoder-only只保留“解码器”（生成输出）， Encoder-Decoder编码器（理解输入）+ 解码器（生成输出）】Common Crawl：通过AWS S3或HTTP接口下载（如https://data.commoncrawl.org/），提供WARC（网页存档）、WAT（元数据）、WET（纯文本）格式。
2025-12-25 16:27:29
1115
原创 传统业务集成应用大模型案例
若需高性能（如实时对话），可将大模型推理引擎（如vLLM、TGI）封装为Java可调用的SDK（通过JNI或gRPC）；通过HTTP API调用第三方大模型（如OpenAI API、阿里通义千问），或在本地部署开源模型（如LLaMA系列），封装为RESTful服务供Java系统调用。开发模型网关服务（Spring Boot应用），接收Java业务系统请求，转发至第三方API（如OpenAI），处理认证、错误、缓存、监控，返回标准化响应。：调用第三方大模型API（如OpenAI/通义千问）的代码开发步骤。
2025-12-25 16:24:34
576
原创 SDK：gRPC+JNI
高性能、开源的远程过程调用（RPC）框架，由Google开发，基于Protocol Buffers（Protobuf） 序列化协议，支持多语言、流式通信、负载均衡。将复杂系统（如大模型推理引擎）的能力，通过标准化接口、工具集、文档封装成易用的软件开发包（SDK），供上层业务系统直接调用。Java提供的跨语言调用接口，允许Java代码与C/C++等“原生代码”直接交互（如调用本地动态库.so/.dll）用C++实现推理逻辑（如调用TensorRT加速的模型），并暴露为动态链接库（.so/.dll）
2025-12-25 14:45:43
445
原创 PyTorch的分布式训练策略：DDP + DeepSpeed + TensorFlow的分布式训练策略：MirroredStrategy
①、数据并行：把一批数据拆成N份（N=GPU数量），每张GPU算1份数据的“前向+反向传播”，算出各自的梯度后同步平均，再用这个平均梯度更新所有GPU的模型参数（保证所有卡模型一致）企业案例：某电商用PyTorch DDP+DeepSpeed训练“用户评论情感分类模型”（BERT-base，1.1亿参数），用8张A100 GPU数据并行核心作用：提速（多卡同时算不同数据），适合模型不大但数据量大的场景（如推荐、CTR预估）
2025-12-23 14:24:02
885
原创 Java业务场景（高并发+高可用+分布式）
分布式事务：Seata TCC模式（金融转账强一致，用户A向用户B转账100元，需保证A扣款、B加款同时成功或同时失败）限流：Sentinel注解式限流（应对秒杀大促流量，如电商秒杀接口需要限制每秒最多1000次请求，防止系统过载）缓存穿透：布隆过滤器（防止恶意查询不存在的数据，频繁查询不存在的商品导致缓存失效、DB压力骤增）DDD聚合根与领域服务（电商订单域，订单创建需校验库存、计算优惠、生成订单号，涉及多个实体协作）加载静态规则（JSON 文件，基础防护）jvm启动参数（生产环境推荐）
2025-12-16 22:37:36
432
原创 SpringBoot配置文件与代码读取机制（Spring自动+自定义+第三方，独立文件）
ai:execution://推荐使用：@ConfigurationProperties@Data@Data//其他配置类……略@Service@Autowired自定义业务配置app:payment:new-checkout-enabled: true # 功能开关//使用JSR-303校验配置@Validated@NotBlank@Min(1000)
2025-12-10 09:13:32
693
原创 java银行bank-core核心业务层（二）支付中心+信贷中心+风控中心
支付网关设计支付状态机支付路由与通道管理支付对账与结算credit-center（信贷中心）涉及贷款审批流程，可能使用工作流引擎（如Activiti）来管理审批流程。信贷产品管理和动态配置自动化审批流程和工作流引擎额度计算和风险定价贷后管理和催收策略贷款申请贷后管理（CC6）：贷款五级分类：信贷产品管理信贷审批流程贷款发放管理risk-center（风控中心）集成多种风控规则，可能使用规则引擎（如Drools）来执行风控规则。规则引擎和机器学习双引擎实时风险
2025-12-06 14:22:25
425
原创 java银行bank-core核心业务层（一）用户中心+账户中心+交易中心
完整项目结构bank-core核心业务部署架构业务用例图：展示了各中心的业务功能和参与者关系类设计关系图：展示了系统的核心类结构和它们之间的关系数据库设计图：包含关系型数据库、NoSQL数据库和搜索引擎的设计部署架构图：展示了系统的物理部署结构时序图：展示了核心业务流程的执行顺序重点在用户身份认证和权限管理，可能涉及OAuth2、JWT等。个人客户：身份证+手机号验证企业客户：营业执照+法人认证+对公账户验证权限控制：RBAC角色权限模型Maven依赖配置领域模型Mapper层实现
2025-12-05 16:03:40
955
原创 Hive基于Hadoop的数据仓库工具
可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，将 SQL 语句转换为 MapReduce/Tez/Spark 任务运行。企业级数据仓库（EDW）数据湖查询引擎历史数据分析数据清洗和转换数据格式转换数据质量检查每日/每周/月度报表用户行为分析业务指标计算数据科学家进行数据探索即席查询分析。
2025-11-24 15:32:52
567
原创 Python测试：
项目结构单元测试 单个函数/方法 每次提交 秒级集成测试 模块间交互 每次PR 分钟级端到端测试 完整用户流程 每日/发布前 小时级性能测试 系统性能指标 每周/重大变更 小时级安全测试 安全漏洞 每次发布 分钟级。
2025-11-21 16:58:36
568
原创 Python认证与授权：
业务场景：电商平台统一认证授权中心config.pymodels.pyschemas.pysecurity.pyauth.pymiddleware.pyrouters/auth.pyrouters/users.pyapp.pyOAuth2 第三方登录实现oauth/providers.pyoauth/wechat.pyoauth/alipay.pyoauth/github.pyrouters/oauth.pyRBAC 权限控制实现rbac/models.pyrbac/
2025-11-21 14:11:18
644
原创 Python消息队列：Celery + Redis RabbitMQ Apache Kafka
特性 Celery + Redis RabbitMQ Apache Kafka消息模型 任务队列 消息代理
2025-11-20 15:11:43
721
1
原创 Python缓存：(Redis)
缓存穿透：使用空值缓存或布隆过滤器缓存击穿：使用分布式锁或永不过期key+后台更新缓存雪崩：设置随机过期时间，避免同时失效数据一致性：使用延迟双删或消息队列保证最终一致性监控告警：监控缓存命中率、内存使用等关键指标容量规划：根据业务量合理规划Redis内存和集群架构。
2025-11-18 16:37:17
853
1
原创 Python数据持久层：数据库与ORM
ORM： 用Python对象操作数据库，无需直接编写SQL。数据库驱动：database.pymodels.py使用Python类定义数据表结构Pydantic模式定义请求/响应数据的序列化和验证crud.pymain.pyDjango ORM 案例models.pyserializers.pyviews.pyadmin.pyFlask + SQLAlchemy 案例config.py显式配置管理：通过Config类管理不同环境配置models.pydecorators.py
2025-11-18 09:27:24
755
原创 LLM大模型评估攻略
评估目标：评估模型在预训练阶段获得的基本语言能力、知识表示和通用推理能力，确保模型具备良好的基础性能。评估方法：基准测试：使用多个标准基准数据集进行零样本（zero-shot）或少样本（few-shot）评估，例如：困惑度计算：在保留的验证集上计算模型的困惑度（perplexity），以衡量语言建模质量。损失曲线分析：监控训练损失和验证损失曲线，检查过拟合或欠拟合现象。定性分析：手动检查模型在开放生成任务上的输出，评估流畅性、一致性和事实准确性。评估指标：准确率、困惑度、F1分数（用于分类任务）。工具推荐：
2025-11-14 17:42:53
864
原创 如何选择大模型（不同业务场景选择相应的大模型）
任务类型：是文本生成、对话、代码编写、信息抽取、复杂推理还是多模态理解？性能要求：需要“最好”的效果，还是“足够好”即可？对响应速度（延迟）和吞吐量有何要求？成本预算：是按调用次数付费（API）还是一次性投入（私有化部署）？预算是多少？数据敏感性：处理的数据是否涉及商业秘密、个人隐私？是否需要私有化部署？技术能力：团队是否有能力进行模型的微调、部署和运维？
2025-11-14 16:26:55
708
原创 大模型应用python+Java后端+Vue前端的整合
后端：使用Java作为主后端语言，处理业务逻辑、用户认证、数据持久化等。大模型服务：使用Python编写，通过Flask或FastAPI等框架提供HTTP API。前端：使用Vue.js或React等框架，这里我们选择Vue.js作为前端框架。通信：前端通过HTTP请求与Java后端交互，Java后端在需要调用大模型时，通过HTTP客户端调用Python服务。
2025-11-14 12:04:00
436
原创 AI实战项目案例设计与实施
选品Agent：工具：网页爬虫（竞争对手数据）、市场趋势API。客服Agent：工具：RAG知识库、多语言翻译API。定价Agent：工具：竞品价格监控、成本计算器。多任务学习：同时进行意图分类（200+类别）和关键实体抽取（如地址、人名、事件）。关系抽取：基于预定义Schema，提取"药物治疗疾病"、"基因表达蛋白"等关系。版面分析：使用LayoutLMv3识别文档结构（标题、段落、表格、公式）。实体识别：使用UIE统一信息抽取框架，识别疾病、药物、基因、症状等实体。
2025-11-13 16:27:06
1123
原创 项目九：领域LLM高效微调（法律行业专用LLM微调与合同审查平台）
参数配置核心代码实现===================================业务场景：律师事务所微调专用法律大模型进行合同智能审查
2025-11-13 16:25:11
858
原创 项目八：Agent与自动化工作流（跨境电商AI运营助手Agent系统）
配置参数核心代码=====================================业务场景：大型科技公司自动化处理从简历筛选到入职的全流程
2025-11-13 15:15:24
437
原创 大模型整合CRM、OA、ERP系统
向量数据库：存储企业知识库的向量化表示，用于增强大模型的上下文。LLM API：调用大模型（如GPT-4、文心一言等）的接口。业务知识库：企业内部的流程、制度、产品知识等文档。个人办公（待办事项、日程管理、个人设置等）会议管理（会议室预定、会议通知、会议纪要）文档管理（公司文档、个人文档、共享文档）流程审批（请假、报销、采购等流程）任务管理（任务分配、跟踪、汇报）系统管理（用户、角色、权限管理）绩效管理（目标设定、绩效评估）考勤管理（打卡、请假、统计）智能库存管理（AI预测补货）消息中心（系统通知、公告）
2025-11-01 09:15:07
1021
支付宝交易，数据库连接客户端，远程连接工具
2022-10-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人