- 博客(400)
- 收藏
- 关注
RSS订阅原创 PyTorch的分布式训练策略：DDP + DeepSpeed + TensorFlow的分布式训练策略：MirroredStrategy
①、数据并行：把一批数据拆成N份（N=GPU数量），每张GPU算1份数据的“前向+反向传播”，算出各自的梯度后同步平均，再用这个平均梯度更新所有GPU的模型参数（保证所有卡模型一致）企业案例：某电商用PyTorch DDP+DeepSpeed训练“用户评论情感分类模型”（BERT-base，1.1亿参数），用8张A100 GPU数据并行核心作用：提速（多卡同时算不同数据），适合模型不大但数据量大的场景（如推荐、CTR预估）
2025-12-23 14:24:02
430
原创 Java业务场景（高并发+高可用+分布式）
分布式事务：Seata TCC模式（金融转账强一致，用户A向用户B转账100元，需保证A扣款、B加款同时成功或同时失败）限流：Sentinel注解式限流（应对秒杀大促流量，如电商秒杀接口需要限制每秒最多1000次请求，防止系统过载）缓存穿透：布隆过滤器（防止恶意查询不存在的数据，频繁查询不存在的商品导致缓存失效、DB压力骤增）DDD聚合根与领域服务（电商订单域，订单创建需校验库存、计算优惠、生成订单号，涉及多个实体协作）加载静态规则（JSON 文件，基础防护）jvm启动参数（生产环境推荐）
2025-12-16 22:37:36
419
原创 SpringBoot配置文件与代码读取机制（Spring自动+自定义+第三方，独立文件）
ai:execution://推荐使用：@ConfigurationProperties@Data@Data//其他配置类……略@Service@Autowired自定义业务配置app:payment:new-checkout-enabled: true # 功能开关//使用JSR-303校验配置@Validated@NotBlank@Min(1000)
2025-12-10 09:13:32
679
原创 java银行bank-core核心业务层（二）支付中心+信贷中心+风控中心
支付网关设计支付状态机支付路由与通道管理支付对账与结算credit-center（信贷中心）涉及贷款审批流程，可能使用工作流引擎（如Activiti）来管理审批流程。信贷产品管理和动态配置自动化审批流程和工作流引擎额度计算和风险定价贷后管理和催收策略贷款申请贷后管理（CC6）：贷款五级分类：信贷产品管理信贷审批流程贷款发放管理risk-center（风控中心）集成多种风控规则，可能使用规则引擎（如Drools）来执行风控规则。规则引擎和机器学习双引擎实时风险
2025-12-06 14:22:25
403
原创 java银行bank-core核心业务层（一）用户中心+账户中心+交易中心
完整项目结构bank-core核心业务部署架构业务用例图：展示了各中心的业务功能和参与者关系类设计关系图：展示了系统的核心类结构和它们之间的关系数据库设计图：包含关系型数据库、NoSQL数据库和搜索引擎的设计部署架构图：展示了系统的物理部署结构时序图：展示了核心业务流程的执行顺序重点在用户身份认证和权限管理，可能涉及OAuth2、JWT等。个人客户：身份证+手机号验证企业客户：营业执照+法人认证+对公账户验证权限控制：RBAC角色权限模型Maven依赖配置领域模型Mapper层实现
2025-12-05 16:03:40
937
原创 Hive基于Hadoop的数据仓库工具
可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，将 SQL 语句转换为 MapReduce/Tez/Spark 任务运行。企业级数据仓库（EDW）数据湖查询引擎历史数据分析数据清洗和转换数据格式转换数据质量检查每日/每周/月度报表用户行为分析业务指标计算数据科学家进行数据探索即席查询分析。
2025-11-24 15:32:52
548
原创 Python测试：
项目结构单元测试 单个函数/方法 每次提交 秒级集成测试 模块间交互 每次PR 分钟级端到端测试 完整用户流程 每日/发布前 小时级性能测试 系统性能指标 每周/重大变更 小时级安全测试 安全漏洞 每次发布 分钟级。
2025-11-21 16:58:36
557
原创 Python认证与授权：
业务场景：电商平台统一认证授权中心config.pymodels.pyschemas.pysecurity.pyauth.pymiddleware.pyrouters/auth.pyrouters/users.pyapp.pyOAuth2 第三方登录实现oauth/providers.pyoauth/wechat.pyoauth/alipay.pyoauth/github.pyrouters/oauth.pyRBAC 权限控制实现rbac/models.pyrbac/
2025-11-21 14:11:18
628
原创 Python消息队列：Celery + Redis RabbitMQ Apache Kafka
特性 Celery + Redis RabbitMQ Apache Kafka消息模型 任务队列 消息代理
2025-11-20 15:11:43
699
原创 Python缓存：(Redis)
缓存穿透：使用空值缓存或布隆过滤器缓存击穿：使用分布式锁或永不过期key+后台更新缓存雪崩：设置随机过期时间，避免同时失效数据一致性：使用延迟双删或消息队列保证最终一致性监控告警：监控缓存命中率、内存使用等关键指标容量规划：根据业务量合理规划Redis内存和集群架构。
2025-11-18 16:37:17
840
1
原创 Python数据持久层：数据库与ORM
ORM： 用Python对象操作数据库，无需直接编写SQL。数据库驱动：database.pymodels.py使用Python类定义数据表结构Pydantic模式定义请求/响应数据的序列化和验证crud.pymain.pyDjango ORM 案例models.pyserializers.pyviews.pyadmin.pyFlask + SQLAlchemy 案例config.py显式配置管理：通过Config类管理不同环境配置models.pydecorators.py
2025-11-18 09:27:24
740
原创 LLM大模型评估攻略
评估目标：评估模型在预训练阶段获得的基本语言能力、知识表示和通用推理能力，确保模型具备良好的基础性能。评估方法：基准测试：使用多个标准基准数据集进行零样本（zero-shot）或少样本（few-shot）评估，例如：困惑度计算：在保留的验证集上计算模型的困惑度（perplexity），以衡量语言建模质量。损失曲线分析：监控训练损失和验证损失曲线，检查过拟合或欠拟合现象。定性分析：手动检查模型在开放生成任务上的输出，评估流畅性、一致性和事实准确性。评估指标：准确率、困惑度、F1分数（用于分类任务）。工具推荐：
2025-11-14 17:42:53
832
原创 如何选择大模型（不同业务场景选择相应的大模型）
任务类型：是文本生成、对话、代码编写、信息抽取、复杂推理还是多模态理解？性能要求：需要“最好”的效果，还是“足够好”即可？对响应速度（延迟）和吞吐量有何要求？成本预算：是按调用次数付费（API）还是一次性投入（私有化部署）？预算是多少？数据敏感性：处理的数据是否涉及商业秘密、个人隐私？是否需要私有化部署？技术能力：团队是否有能力进行模型的微调、部署和运维？
2025-11-14 16:26:55
671
原创 大模型应用python+Java后端+Vue前端的整合
后端：使用Java作为主后端语言，处理业务逻辑、用户认证、数据持久化等。大模型服务：使用Python编写，通过Flask或FastAPI等框架提供HTTP API。前端：使用Vue.js或React等框架，这里我们选择Vue.js作为前端框架。通信：前端通过HTTP请求与Java后端交互，Java后端在需要调用大模型时，通过HTTP客户端调用Python服务。
2025-11-14 12:04:00
414
原创 AI实战项目案例设计与实施
选品Agent：工具：网页爬虫（竞争对手数据）、市场趋势API。客服Agent：工具：RAG知识库、多语言翻译API。定价Agent：工具：竞品价格监控、成本计算器。多任务学习：同时进行意图分类（200+类别）和关键实体抽取（如地址、人名、事件）。关系抽取：基于预定义Schema，提取"药物治疗疾病"、"基因表达蛋白"等关系。版面分析：使用LayoutLMv3识别文档结构（标题、段落、表格、公式）。实体识别：使用UIE统一信息抽取框架，识别疾病、药物、基因、症状等实体。
2025-11-13 16:27:06
1096
原创 项目九：领域LLM高效微调（法律行业专用LLM微调与合同审查平台）
参数配置核心代码实现===================================业务场景：律师事务所微调专用法律大模型进行合同智能审查
2025-11-13 16:25:11
846
原创 项目八：Agent与自动化工作流（跨境电商AI运营助手Agent系统）
配置参数核心代码=====================================业务场景：大型科技公司自动化处理从简历筛选到入职的全流程
2025-11-13 15:15:24
415
原创 大模型整合CRM、OA、ERP系统
向量数据库：存储企业知识库的向量化表示，用于增强大模型的上下文。LLM API：调用大模型（如GPT-4、文心一言等）的接口。业务知识库：企业内部的流程、制度、产品知识等文档。个人办公（待办事项、日程管理、个人设置等）会议管理（会议室预定、会议通知、会议纪要）文档管理（公司文档、个人文档、共享文档）流程审批（请假、报销、采购等流程）任务管理（任务分配、跟踪、汇报）系统管理（用户、角色、权限管理）绩效管理（目标设定、绩效评估）考勤管理（打卡、请假、统计）智能库存管理（AI预测补货）消息中心（系统通知、公告）
2025-11-01 09:15:07
1002
支付宝交易，数据库连接客户端，远程连接工具
2022-10-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人