- 博客(2581)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 LeetCode解题汇总目录
此篇为学习完《数据结构与算法之美》后，在LeetCode刷题的汇总目录，方便大家查找（Ctrl+Find），一起刷题，一起PK交流！如果本文对你有帮助，可以给我点赞加油！ Updated on 2022.6.12刷题可以按照不同的专题进行，便于加强某个知识点的理解。另有《剑指Offer》面试题（更新完毕）、《程序员面试金典》面试题（更新完毕）、LintCode代码能力测试CAT。LeetCode MySQL 数据库解题目录点击访问 我的 LeetCode 主页我的 GitHub 主页注：本文超过字数限制，
2019-09-06 13:43:51
79858
367
原创 吴恩达-《深度学习DeepLearning》汇总目录
从2019年2月底开始学习《数据结构与算法之美》，王争老师的课程非常好，到2019年8月底已经学完一遍，后面还要多次复习巩固以及OJ刷题。生命不息，学习不止，又要开始新的篇章了–《机器学习》，有点小兴奋，哈哈，之前Python已经大致过了2遍（小甲鱼的视频&从入门到实践），现在要补NumPy、复习高等数学、然后开始吴恩达老师的课程。此篇文章作为学习的汇总目录，供大家参考，一起学习，共同进步...
2019-08-28 00:43:33
7868
66
原创 《数据结构与算法之美》学习汇总
此篇文章是对自己学习这门课程的一个总结和课后的一些练习，做一个汇总，希望对大家有帮助。本人是半路程序员，2018年2月开始学习C++的，下面的代码基本都是C++11版本的，代码有错误的地方请不吝留言赐教。附有部分练习LeetCode、POJ的题目。
2019-04-22 21:13:00
24720
218
原创 探索HTTP流式返回：Python实战与Ollama本地模型测试
Ollama 将模型权重、配置和数据打包成一个单一的包（通过Modelfile管理）。它简化了模型的下载、部署和管理过程。
2025-05-17 00:05:29
776
1
原创 设计模式 | Python单例模式
当多个模块需要共享同一资源时（如日志文件、应用配置、数据库连接池等），单例模式可避免重复创建实例导致的资源浪费或性能损耗。对需要严格控制资源的场景（如线程池、数据库连接池），单例模式能集中管理资源分配，减少资源竞争或过度消耗。如果需要自定义类的创建逻辑（比如动态修改类属性、强制约束类结构、自动注册子类等），就可以通过自定义元类实现，通过重写。需要全局唯一访问入口的场景，单例模式提供统一的访问接口。Python的模块天然就是单例的——因为模块在第一次导入时会被缓存，后续导入都是“共享”同一个实例。
2025-05-10 16:38:06
446
原创 基于 MCP 协议的 LLM 工具调用
在 MCP（Model Context Protocol）中，tool和MCP 中的 tool是定义在 MCP 服务器上的功能模块，通过 MCP 协议暴露给客户端。具有封装性、可发现性和异步性等特点。是 LLM 调用外部函数的能力，增强了模型的能力，使其能够借助外部资源解决问题。特点包括增强模型能力、动态交互、参数传递与结果处理等。二者关系MCP 中的 tool 是具体的工具实现，function calling 是调用这些工具的方式。
2025-04-20 00:01:26
989
原创 多进程性能优化：共享内存 vs 普通多进程
普通多进程：每个子进程独立处理一份数据副本。共享内存：所有子进程共享同一块内存区域，避免数据的多次拷贝。我们通过一个简单的实验来对比这两种方式的性能和内存使用情况。通过对比共享内存和普通多进程的实现方式，我们发现共享内存版本在内存使用和性能上具有显著优势。对于需要处理大规模数据或多进程协作的场景，推荐使用共享内存来优化性能和内存使用。
2025-04-16 23:16:15
928
原创 注册模式（Registry Pattern）：实现灵活解耦的插件化系统
注册模式（）通过维护一个全局或单例的注册表（Registry），集中管理系统中可扩展的组件、类或实例的引用。组件在初始化时主动注册到表中，其他模块通过标识符（如名称、类型）从表中动态获取所需组件。len解耦组件：通过注册表中介降低直接依赖灵活扩展：新组件即插即用配置驱动：运行时动态决定组件加载最佳实践建议为注册表设计版本兼容机制添加类型注解提升安全性对关键操作（注册/获取）添加日志跟踪考虑使用单例模式封装注册表# 进阶实现：线程安全注册表。
2025-03-31 00:11:55
525
原创 使用 Nginx 对 LLM 服务进行负载均衡实践
nginx是一款开源的、高性能的 Web 服务器，同时也广泛用作 反向代理服务器、负载均衡器 和 HTTP 缓存。它的设计目标是解决传统服务器（如 Apache）在高并发场景下的性能瓶颈，现已成为全球最流行的 Web 服务器之一。高性能：基于事件驱动的异步架构，单机支持数万并发连接。轻量级：内存占用低，配置简单。算法灵活：轮询（Round Robin）、加权轮询（Weighted）、IP Hash、最少连接（Least Connections）等。
2025-03-03 06:30:00
909
原创 triton+tensorrt-llm后端部署LLM服务
参考TensorRT-LLM 是 NVIDIA 推出的一个开源库，旨在利用 TensorRT 深度学习编译器优化和加速大型语言模型（LLMs）的推理性能。它专为开发者设计，支持在多 GPU 环境中高效运行 LLMs。
2025-03-02 07:00:00
2051
1
原创 用DeepSeek自动求解-华容道
经过与 deepseek 多轮对话，还有自己查找问题，最后完成了这个作品。今天辅导孩子做华容道，孩子不会，我也试了好久没做出来。首轮给出的结果基本上就差不多是对的，还有一些小逻辑不太对。我决定使用 deepseek 开发一个自动解题的动画。用deepseek编程求解华容道。Worker执行IDA*算法。创建Web Worker。
2025-03-01 12:36:29
961
原创 基于Triton推理服务器的性能优化实践
NVIDIA的Triton推理服务器通过动态批处理、模型并发和TensorRT加速等多种优化策略，不仅充分发挥GPU的并行计算能力，还能根据业务场景灵活调整配置，从而实现高吞吐、低延迟的推理服务。本文将深入解析Triton中的关键优化技术，并结合详细的测试数据和命令行解析，为读者展示如何利用这些技术提升推理性能。
2025-02-24 21:12:32
1341
1
原创 使用triton部署OCR服务（一）
NVIDIA Triton Inference Server 是一个开源软件，专为简化和加速在生产环境中部署深度学习模型的过程而设计。它支持多种深度学习框架（如 TensorFlow、PyTorch、ONNX 等）的模型，并能够在 GPU、CPU 以及 AWS、GCP 和 Azure 上提供的各种硬件平台上运行。主要功能多框架支持：支持包括 TensorFlow、PyTorch、ONNX、OpenVINO 等在内的多种深度学习框架。动态批处理：自动将多个推理请求组合成更大的批次，以。
2025-02-15 18:38:08
1001
原创 Python调用C/C++代码
Python调用C/C++代码是一种常见的性能优化手段，适用于需要高性能计算的场景。ctypes适合简单的函数调用，而pybind11则更适合复杂的C++代码集成。尽管调用C/C++代码可以显著提升性能，但也带来了额外的复杂性和开发成本，因此在决定使用时应权衡利弊。
2025-02-10 22:58:41
1200
原创 使用PaddleSlim进行PTQ训练后量化加速推理
PaddleSlim 是 PaddlePaddle 提供的模型压缩工具库，支持多种模型压缩技术，其中包括训练后量化（Post-Training Quantization, PTQ）。PTQ 是一种在不重新训练模型的情况下，通过量化技术加速模型推理的方法。
2025-02-09 19:50:02
955
原创 ChatGLM3-6B QLoRA微调实践
从 peft 库导入配置方法、模型构造方法和任务类型，用于参数高效微调。# 启用梯度检查点以减少显存使用model.gradient_checkpointing_enable() # 开启梯度检查点功能model.enable_input_require_grads() # 允许输入梯度的计算，以支持低比特训练model.config.use_cache = False # 禁用缓存，因为缓存可能会干扰训练过程# 导入用于低比特训练准备的函数。
2024-12-09 04:53:20
457
原创 模型微调方法 SFT、PEFT
参考：《大模型导论》预训练+微调就是不要从头开始造轮子，在已有大模型基座上，针对特定领域进行少量语料的训练全量微调PETF。
2024-12-05 09:55:48
1727
原创 大模型训练加速框架 DeepSpeed、Megatron-LM、Colossal-AI、BMTrain
将训练数据划分成多个小批次（mini-batches），并将这些批次分配到不同的设备（如GPU）上同时进行并行训练。每个设备都保存完整的模型参数的一个副本不同设备使用不同的数据子集进行前向传播和反向传播在每个训练步骤后，通过梯度同步（如AllReduce）来协调和平均各设备的梯度最终所有设备的模型参数会同步一致的状态。
2024-12-04 10:42:29
2202
原创 使用 dify + vllm 创建一个AI应用
本文基于 dify 和 vllm 部署的本地大模型，创建了一个修复python代码的 LLM 应用
2024-11-28 23:48:26
9478
14
原创 向量数据库 milvus 快速入门
删掉就不限制主题了，可以查询更多的文档。查找指定 subject 的所有文档。返回的是一个列表，每个元素是一个。可以看到只找到了 对应主题下的文档。， 数据库找到了最相似的文本。向量的维度是 768 维的。查找指定 id 的所有文档。使用 docker 安装。
2024-11-27 21:10:55
1467
2
原创 使用 Ray 进行大规模分布式数据处理
模拟一些耗时操作computation_time = random.uniform(1, 5) # 模拟计算耗时（1-5秒）: 这是 Ray 提供的装饰器，表示该函数将会在远程执行，而不是在本地串行执行。Ray 会将函数调度到集群中可用的工作节点上。: 模拟任务的执行时间，使用生成 1 到 5 秒之间的随机数。: 模拟计算过程中的耗时操作。Ray 远程任务执行：通过装饰器将任务分配到集群中的各个节点并行执行。节点信息获取。
2024-11-25 11:25:16
1272
原创 vLLM 部署本地大模型
是一个快速且易于使用的库，用于 LLM 推理和服务。如果不能连接 huggingface，设置。失业+面试中，今天学习一个新玩具。
2024-11-24 22:16:48
4274
原创 Apache Airflow 数据管道编排快速入门
是一个开源平台，用于编排调度和监控工作流。它通过定义有向无环图（DAGs）来组织任务和其依赖关系，支持任务的定时调度、自动执行和失败重试。Airflow 提供了强大的可视化界面，用于查看任务状态和日志，非常适合处理数据管道、自动化工作流和批处理任务。
2024-11-11 00:19:53
741
原创 使用 copilot 写一个 websockets聊天室
上个月我毕业了，今天闲下来，写个小玩具：跟 copilot 进行了多轮对话，不断的修改需求，给出代码服务端 python代码chat HTML， 改成你的 局域网/或者公网 IP演示视频https://www.bilibili.com/video/BV1CWDGYkEZX/
2024-10-25 00:00:14
189
原创 Python3.13 rc2 自由线程性能实验
如果你曾经尝试通过多线程提升Python的性能，那么你肯定遇到过一个老对手——（GIL）。这个讨人厌的小家伙会阻止Python线程真正实现并行运行。但是嘿！GIL已经是个老生常谈的话题了，如今，随着Python 3.13推出了实验性的NO-GIL（自由线程）版本，终于有机会动手试试看这到底意味着什么！正式版本预计在假期推出，现在目前是 RC2 版本。
2024-09-28 09:28:49
1715
原创 Python signal 信号处理模块
模块允许你注册信号处理函数，这样当接收到特定信号时，可以执行自定义的代码。这对于在程序退出前执行清理操作非常有用，比如保存状态、关闭文件、释放资源等。信号是软件中断，通常由操作系统发送给进程，以通知进程发生了某个事件。下面是一个简单的例子，展示了如何在Python程序中捕获。来注册这个处理函数。命令用于向进程发送信号，默认情况下发送的是。信号（15），这会导致进程终止。是程序的进程ID），程序会执行。在这个例子中，我们定义了一个。信号，比如通过在终端中执行。函数中的代码，然后退出。，默认是 15 信号。
2024-05-08 20:36:37
704
1
原创 polars 和 pandas 数据处理效率对比
Polars是一个高性能的数据处理库，它旨在提供快速的数据处理能力，特别是在处理大型数据集时。Polars是由Rust语言编写的，这使得它在性能和内存安全性方面具有显著优势。高性能：Polars的设计重点在于优化数据处理的速度。它利用Rust语言的性能优势，提供了快速的数据过滤、分组、排序和其他常见数据操作。内存效率：Polars在内存管理上进行了优化，减少了不必要的内存分配和复制，这使得它在处理大型数据集时更加高效。并行处理。
2024-04-14 16:57:02
1553
原创 使用edge-tts将文字转成语音
生成的字幕可以在 plotplayer 中显示。也可以使用代码，主要的 api 有。可以使用命令行来执行。改变速度、音量、音调。
2024-03-19 23:17:13
2047
原创 React-Native应用开发 - 环境安装
安装 nodeJS、JDK、AndroidStudio、Android-SDK。在模拟器界面就能看到修改的效果了。装好之后，修改 App.tsx。打开 Copilot Chat。
2024-02-05 01:50:33
497
原创 AI大模型全栈工程师课程笔记 - LLM tools
import repass@property@property@property# 正则表达式定义了要去除的标点符号self,) -> dict:# 自定义的BLEU SCORE评估器。
2024-01-10 01:03:05
1537
tensorflow_datasets.tf_flowers.3.0.1.rar
2021-01-26
distilbert-base-uncased-finetuned-sst-2-english 预训练模型
2021-01-12
Everything-1.4.1.969.x64.zip
2020-03-27
ScreenToGif.2.22.1.Portable.zip
2020-03-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人