Michael阿明-CSDN博客

Michael阿明

码龄11年

个人简介：两个孩子的父亲，8年机械工程师，已转行互联网做算法，一起继续加油！高举智慧，她就使你高升；怀抱智慧，她就使你尊荣。-- 箴言（4:8）

IP 属地：北京市

查看详细资料

原力等级

当前等级

9

当前总分

7,005

当月

89

个人成就

算法领域优质创作者
获得15,231次点赞
内容获得8,272次评论
获得10,022次收藏
代码片获得16,770次分享

TA的专栏

TA的推广

兴趣领域设置

人工智能

机器学习深度学习神经网络自然语言处理tensorflowpytorchnlp

创作活动更多

新星杯·14天创作挑战营·第9期

这是一个以写作博客为目的的创作活动，旨在鼓励大学生博主们挖掘自己的创作潜能，展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴，那么，快来参加吧！我们一起发掘写作的魅力，书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛！注： 1、参赛者可以进入活动群进行交流、分享创作心得，互相鼓励与支持（开卷），答疑及活动群请见 https://bbs.csdn.net/topics/619626357 2、文章质量分查询：https://www.csdn.net/qc

472人参与去参加

搜TA的内容

使用 Nginx 对 LLM 服务进行负载均衡实践

nginx是一款开源的、高性能的 Web 服务器，同时也广泛用作反向代理服务器、负载均衡器和 HTTP 缓存。它的设计目标是解决传统服务器（如 Apache）在高并发场景下的性能瓶颈，现已成为全球最流行的 Web 服务器之一。高性能：基于事件驱动的异步架构，单机支持数万并发连接。轻量级：内存占用低，配置简单。算法灵活：轮询（Round Robin）、加权轮询（Weighted）、IP Hash、最少连接（Least Connections）等。

发布博客 2025.03.03 ·

triton+tensorrt-llm后端部署LLM服务

参考TensorRT-LLM 是 NVIDIA 推出的一个开源库，旨在利用 TensorRT 深度学习编译器优化和加速大型语言模型（LLMs）的推理性能。它专为开发者设计，支持在多 GPU 环境中高效运行 LLMs。

发布博客 2025.03.02 ·

用DeepSeek自动求解-华容道

经过与 deepseek 多轮对话，还有自己查找问题，最后完成了这个作品。今天辅导孩子做华容道，孩子不会，我也试了好久没做出来。首轮给出的结果基本上就差不多是对的，还有一些小逻辑不太对。我决定使用 deepseek 开发一个自动解题的动画。用deepseek编程求解华容道。Worker执行IDA*算法。创建Web Worker。

发布博客 2025.03.01 ·

triton+vllm后端部署LLM服务

发布博客 2025.02.26 ·

基于Triton推理服务器的性能优化实践

NVIDIA的Triton推理服务器通过动态批处理、模型并发和TensorRT加速等多种优化策略，不仅充分发挥GPU的并行计算能力，还能根据业务场景灵活调整配置，从而实现高吞吐、低延迟的推理服务。本文将深入解析Triton中的关键优化技术，并结合详细的测试数据和命令行解析，为读者展示如何利用这些技术提升推理性能。

发布博客 2025.02.24 ·

使用triton部署OCR服务（一）

NVIDIA Triton Inference Server 是一个开源软件，专为简化和加速在生产环境中部署深度学习模型的过程而设计。它支持多种深度学习框架（如 TensorFlow、PyTorch、ONNX 等）的模型，并能够在 GPU、CPU 以及 AWS、GCP 和 Azure 上提供的各种硬件平台上运行。主要功能多框架支持：支持包括 TensorFlow、PyTorch、ONNX、OpenVINO 等在内的多种深度学习框架。动态批处理：自动将多个推理请求组合成更大的批次，以。

发布博客 2025.02.15 ·

Python调用C/C++代码

Python调用C/C++代码是一种常见的性能优化手段，适用于需要高性能计算的场景。ctypes适合简单的函数调用，而pybind11则更适合复杂的C++代码集成。尽管调用C/C++代码可以显著提升性能，但也带来了额外的复杂性和开发成本，因此在决定使用时应权衡利弊。

发布博客 2025.02.10 ·

使用PaddleSlim进行PTQ训练后量化加速推理

PaddleSlim 是 PaddlePaddle 提供的模型压缩工具库，支持多种模型压缩技术，其中包括训练后量化（Post-Training Quantization, PTQ）。PTQ 是一种在不重新训练模型的情况下，通过量化技术加速模型推理的方法。

发布博客 2025.02.09 ·

由paddle静态模型文件导出模型网络结构、模型精度转换

上文为了证明这个模型确实是对精度敏感的，做了以下实验。

发布博客 2025.01.17 ·

TensorRT 加速推理实践

本文环境 python 3.11.5 TensorRT 8.6.1。

发布博客 2025.01.11 ·

使用 PaddleX 进行 OCR 识别

抽取图片中的信息

发布博客 2024.12.15 ·

yolo11 目标检测原理与实践

发布博客 2024.12.10 ·

ChatGLM3-6B QLoRA微调实践

从 peft 库导入配置方法、模型构造方法和任务类型，用于参数高效微调。# 启用梯度检查点以减少显存使用model.gradient_checkpointing_enable() # 开启梯度检查点功能model.enable_input_require_grads() # 允许输入梯度的计算，以支持低比特训练model.config.use_cache = False # 禁用缓存，因为缓存可能会干扰训练过程# 导入用于低比特训练准备的函数。

发布博客 2024.12.09 ·

大模型压缩和推理加速

参考：《大模型导论》

发布博客 2024.12.06 ·

模型微调方法 SFT、PEFT

参考：《大模型导论》预训练+微调就是不要从头开始造轮子，在已有大模型基座上，针对特定领域进行少量语料的训练全量微调PETF。

发布博客 2024.12.05 ·

大模型训练加速框架 DeepSpeed、Megatron-LM、Colossal-AI、BMTrain

将训练数据划分成多个小批次（mini-batches），并将这些批次分配到不同的设备（如GPU）上同时进行并行训练。每个设备都保存完整的模型参数的一个副本不同设备使用不同的数据子集进行前向传播和反向传播在每个训练步骤后，通过梯度同步（如AllReduce）来协调和平均各设备的梯度最终所有设备的模型参数会同步一致的状态。

发布博客 2024.12.04 ·

使用 dify + vllm 创建一个AI应用

本文基于 dify 和 vllm 部署的本地大模型，创建了一个修复python代码的 LLM 应用

发布博客 2024.11.28 ·

向量数据库 milvus 快速入门

删掉就不限制主题了，可以查询更多的文档。查找指定 subject 的所有文档。返回的是一个列表，每个元素是一个。可以看到只找到了对应主题下的文档。，数据库找到了最相似的文本。向量的维度是 768 维的。查找指定 id 的所有文档。使用 docker 安装。

发布博客 2024.11.27 ·

使用 Ray 进行大规模分布式数据处理

模拟一些耗时操作computation_time = random.uniform(1, 5) # 模拟计算耗时（1-5秒）: 这是 Ray 提供的装饰器，表示该函数将会在远程执行，而不是在本地串行执行。Ray 会将函数调度到集群中可用的工作节点上。: 模拟任务的执行时间，使用生成 1 到 5 秒之间的随机数。: 模拟计算过程中的耗时操作。Ray 远程任务执行：通过装饰器将任务分配到集群中的各个节点并行执行。节点信息获取。

发布博客 2024.11.25 ·

vLLM 部署本地大模型

是一个快速且易于使用的库，用于 LLM 推理和服务。如果不能连接 huggingface，设置。失业+面试中，今天学习一个新玩具。

发布博客 2024.11.24 ·