- 博客(95)
- 资源 (29)
- 收藏
- 关注
RSS订阅原创 Postgresql17数据库中的扩展插件说明
PostgreSQL是一个功能强大、开源、支持多种数据模型的 关系型数据库管理系统（RDBMS）。它以其高可靠性、强大的功能、标准兼容性和可扩展性而闻名，被广泛用于从小型应用到大型企业级系统的各种场景。
2025-09-19 19:39:30
769
原创 Postgresql17数据库中通过代码安装向量插件:PGVector0.8.1
pgvector 是一个为 PostgreSQL 数据库开发的开源扩展，它使得 PostgreSQL 能够原生支持向量（Vector）数据类型和向量相似性搜索，是构建 AI 应用（尤其是基于大语言模型 LLM 的应用）的关键基础设施。将向量与其余数据一起存储。支持：1.精确和近似最近邻搜索2.单精度、半精度、二进制和稀疏向量3.L2距离、内积、余弦距离、L1距离、汉明距离和雅克卡德距离4.具有Postgres客户端的任何语言。
2025-09-19 19:33:09
625
原创 Vllm-0.10.1：vllm bench serve参数说明
请求速率爬升策略：<br>linear: 线性增长<br>exponential: 指数增长<br>需配合 --ramp-up-start-rps 和 --ramp-up-end-rps 使用。--random-range-ratio float 0.0 输入/输出长度采样范围：[len*(1-r), len*(1+r)]，实现长度波动（如 0.1 表示 ±10%）。--sonnet-prefix-len int 200 前缀 token 数（可用于测试 prefix caching 性能）。
2025-09-06 21:11:43
1184
原创 Vllm-0.10.1：通过vllm bench serve测试TTFT、TPOT、ITL、E2EL四个指标
摘要：本文介绍了在KVM虚拟机环境下使用4张英伟达A6000 GPU进行大模型推理的性能测试，重点关注四个关键指标：首次生成token时间(TTFT)、每个token平均生成时间(TPOT)、token间延迟(ITL)和端到端延迟(E2EL)。测试基于DeepSeek-R1-Distill-Qwen-32B模型，使用vLLM 0.10.1框架，详细说明了参数配置方法（如max-model-len和max-num-batched-tokens的计算）和优化方向。测试采用ShareGPT数据集，设置输出长度为1
2025-09-06 20:55:58
1193
原创 TensorRT-LLM.V1.1.0rc0:在无 GitHub 访问权限的服务器上编译 TensorRT-LLM 的完整实践
1.NGC上的预构建发布容器进行部署,见《2.通过pip进行部署。3.从源头构建再部署。在实际开发中，我们常常面临这样的场景：本地笔记本为 Windows 系统，虽然可以访问 GitHub，但受限于硬件性能，编译大型项目（如 TensorRT-LLM）耗时过长；而公司或实验室提供的 Linux 服务器性能强劲，适合编译任务，但却因网络策略限制无法连接外网，尤其是无法访问 GitHub。。
2025-08-17 16:25:36
946
原创 TensorRT-LLM.V1.1.0rc1:Dockerfile.multi文件解读
安装基础工具（wget, git, unzip, cmake 等），可选 GitHub 镜像加速。开发环境：安装 Python、CMake、CUDA 工具链、TensorRT 等。安装较新版本的 CMake（可能比 base 镜像自带的更新）✅ 多阶段分离：开发、构建、发布、Triton 集成各司其职。使用 NVIDIA Triton Server 镜像（如。删除 wheel 文件和 pip 缓存（减小镜像体积）✅ 目的：为后续阶段提供一个干净、标准化的基础镜像。
2025-08-17 15:57:17
841
原创 Langfuse2.60.3:独立数据库+docker部署及环境变量详细说明
Langfuse 是一个 **开源 LLM 工程** 平台。它帮助团队协作 **开发、监控、评估** 以及 **调试** AI 应用。Langfuse 可在几分钟内 **自托管**，并且经过 **实战考验**。其核心组件包括Web界面、Worker进程、Postgres数据库、Clickhouse存储等。## ✨ 核心特性[LLM 应用可观察性]：为你的应用插入仪表代码，并开始将追踪数据传送到 Langfuse，从而追踪 LLM 调用及应用中其他相关逻辑（如检索、嵌入或代理操作）
2025-08-16 21:18:05
977
原创 tensorrt-llm0.20.0:Prometheus3.5.0通过间接采集，进行性能指标分析
在阅读本章之前，建议您先看看我之前的两篇博客，有助于更好地理解后续内容。
2025-08-16 16:36:46
766
原创 FastDeploy2.0:Prometheus3.5.0通过直接采集，进行性能指标分析
下图就是FastDeploy2.0的几个核心指标显示效果，后面详细介绍如何操作。
2025-08-16 16:19:12
883
原创 大模型性能指标的监控系统（prometheus3.5.0）和可视化工具(grafana12.1.0)基础篇
Prometheus是云原生计算基金会项目，是一个系统和服务监控系统。它以给定的时间间隔从配置的目标收集指标，评估规则表达式，显示结果，并在观察到指定条件时触发警报。Prometheus与其他指标和监控系统的区别在于：多维数据模型（由度量名称和键/值维度集定义的时间序列）PromQL，一种强大而灵活的查询语言不依赖分布式存储；单个服务器节点是自主的用于时间序列收集的HTTP拉取模型通过中间网关支持推送时间序列，用于批处理作业通过服务发现或静态配置发现目标多种绘图和仪表板支持模式。
2025-08-16 11:15:57
828
原创 tensorrt-llm0.20.0离线部署DeepSeek-R1-Distill-Qwen-32B
本文介绍了在Ubuntu 22.04系统下使用4张NVIDIA A6000显卡部署TensorRT-LLM推理服务的完整流程。主要内容包括：1) 通过Docker容器安装TensorRT-LLM环境；2) 将32B规模的DeepSeek-R1-Distill-Qwen模型权重转换为TensorRT检查点格式，并构建FP16精度的推理引擎；3) 配置并启动TRT-LLM推理服务，支持16K长文本输入；4) 提供HTTP API接口调用示例。整个过程涉及环境准备、模型转换、服务部署等关键步骤，最终实现了高性能的
2025-08-12 18:30:47
1109
原创 FastDeploy2.0：环境变量的说明
设置日志目录# 指定使用的 GPU 设备# 创建日志目录（如果不存在）# 定义日志文件路径# 启动服务并重定向输出到日志文件，后台运行。
2025-08-06 20:50:16
485
原创 FastDeploy2.0 发布参数说明
```long_prefill_token_threshold``` | `int` | 开启Chunked Prefill时，请求Token数超过此值的请求被视为长请求，默认为max_model_len*0.04 || ```guided_decoding_backend``` | `str` | 指定要使用的guided decoding后端，支持 `auto`、`xgrammar`、`off`, 默认为 `off` |
2025-08-06 20:28:25
862
原创 FastDeploy2.0:Error reading file: SafeTensorError::MetadataIncompleteBuffer
GPU:4张英伟达A6000python3.10大模型：DeepSeek-R1-Distill-Qwen-32B（aisudio上下载得）执行如下命令：报如下错误：模型文件下载不全。 你说模型文件下载不全，可翻来覆去瞅了半天，愣是没看出哪个文件“缺胳膊少腿”——这感觉，就像在满屋子双胞胎里找谁多长了一根头发。模型文件一多，数着数着就眼冒金星，脑瓜子嗡嗡的，真不想重头再下一遍，光是想想，头发都快掉光了！别急，兄弟，咱打工人也有智慧闪光的时刻——难道非得靠“人肉点数大法”和“玄学肉眼扫描术”？当然不！其
2025-08-06 20:17:54
1150
原创 FastDeploy2.0：报qwen2.embed_tokens.weight
这个权重矩阵主要负责将输入的词汇（token）转换为模型可以处理的向量形式，即进行词嵌入（embedding）形状: torch.Size([8960, 1536]), 数据类型: torch.uint16, 大小: 13,762,560。形状: torch.Size([1536, 8960]), 数据类型: torch.uint16, 大小: 13,762,560。形状: torch.Size([1536, 8960]), 数据类型: torch.uint16, 大小: 13,762,560。
2025-08-05 21:52:56
760
原创 FastDeploy2.0：发布思考链模型时，将思考内容放到reasoning_content中返回
FastDeploy2.0是飞桨推出的高效推理部署工具包，支持LLM和VLM模型的生产级部署。核心特性包括：负载均衡PD分解、统一KV缓存传输、兼容OpenAI API与vLLM接口、全量化格式支持及多硬件加速。部署流程包含：1) 满足CUDA 12.3+等环境要求；2) 下载专用Docker容器；3) 配置GPU与内存参数启动容器；4) 运行API服务；5) 发送测试请求。工具包通过优化资源利用率和提供高级加速技术（如推测解码），显著提升大模型推理效率，支持NVIDIA GPU等多种硬件平台。典型应用场景
2025-08-05 20:17:31
967
原创 vllm0.8.5：自定义聊天模板qwen_nonthinking.jinja，从根本上避免模型输出＜think＞标签
用来清晰地标记函数调用的开始和结束，避免与普通文本混淆。
2025-08-03 19:33:32
1056
原创 vllm0.8.5：思维链（Chain-of-Thought, CoT）微调模型的输出结果包括＜/think＞，提供一种关闭思考过程的方法
摘要：本文介绍了如何优化DeepSeek-R1-Distill-Qwen-1.5B大语言模型的输出处理方案。该模型经过思维链微调后，会强制输出完整的思考流程（包含<think>标签），给业务系统带来额外处理负担。作者提出通过在vLLM中配置自定义聊天模板的方法，从根本上避免模型输出<think>标签。具体操作包括：1）拉取vLLM代码并构建Docker镜像；2）启动容器时指定自定义模板文件qwen_nonthinking.jinja；3）详细说明了容器启动参数含义。这种方法无需修改业
2025-08-03 19:23:49
1035
原创 docker:将python开发的大模型应用，打成docker容器
本文介绍了基于大模型的应用系统在离线环境部署时，通过Docker容器解决依赖包缺失问题的方法。使用Miniconda3基础镜像，通过conda-pack预打包环境（12G），显著缩短部署时间（相比在线安装节省约4小时）。详细说明了Dockerfile编写过程，包括环境配置、文件复制、路径设置等步骤，并提供了容器构建和运行的命令。该方法虽然增大了部署包体积（从4G增至12G），但有效解决了信创服务器离线部署的依赖问题，提升了部署效率。
2025-08-02 14:16:55
807
原创 docker:将cas、tomcat、字体统一打包成docker容器
本文介绍了使用Docker容器化部署CAS登录认证系统的实践方案。针对传统Tomcat部署中字体文件和依赖包缺失的问题，作者采用Docker技术将应用、Tomcat 9.0.31、字体文件及Java17环境打包成统一镜像。详细说明了基于eclipse-temurin:17-jdk基础镜像构建的Dockerfile配置，包括字体文件复制、时区设置和卷挂载等关键步骤。通过docker buildx命令构建cas:1.1镜像并保存为tar文件，最后演示了容器运行和日志目录挂载的部署方法。该方案有效解决了环境差异问
2025-07-30 18:37:17
829
原创 Coze:Window操作系统部署Coze Studio
Coze Studio，源自服务了上万家企业、数百万开发者的「扣子开发平台」，我们将它的核心引擎完全开放。它是一个一站式的 AI Agent 可视化开发工具，让 AI Agent 的创建、调试和部署变得前所未有的简单。通过 Coze Studio 提供的可视化设计与编排工具，开发者可以通过零代码或低代码的方式，快速打造和调试智能体、应用和工作流，实现强大的 AI 应用开发和更多定制化业务逻辑，是构建低代码 AI 产品的理想选择。
2025-07-29 20:39:16
813
原创 k8s:利用kubectl部署nginx
本文介绍了在离线环境下基于Hygon C86处理器和麒麟操作系统部署HTTPS服务的完整流程。首先通过CA签发服务器证书并创建Kubernetes Secret存储证书密钥，然后配置Nginx服务（包含HTTP/HTTPS监听端口），接着创建PV/PVC存储和部署Nginx容器，最后通过NodePort服务暴露端口。关键步骤包括：1)使用ConfigMap管理Nginx配置；2)通过Secret挂载TLS证书；3)绑定本地存储路径；4)实现双端口(80/443)服务暴露。最终可通过NodePort端口同时提
2025-07-26 10:32:19
1220
2
原创 k8s:将打包好的 Kubernetes 集群镜像推送到Harbor私有镜像仓库
本文介绍了在离线环境中部署Harbor镜像仓库的完整流程。首先通过脚本创建多个Harbor项目，然后使用KubeKey工具将预打包的Kubernetes镜像(kubesphere.tar.gz)推送到Harbor仓库。接着配置containerd以支持从私有仓库拉取镜像，包括设置TLS证书和镜像仓库端点。最后解决Kubernetes 1.26.12安装过程中pause镜像的拉取问题，通过重命名本地镜像的方式替代原本需要从registry.k8s.io获取的pause镜像。整个过程涉及Harbor项目创建、镜
2025-07-26 10:15:20
1249
原创 K8s:离线部署Kubernetes1.26.12及采用外部Harbor
本文详细介绍了在离线环境下使用KubeKey部署KubeSphere集群的完整流程。主要内容包括：1）在联网服务器下载KubeKey工具、获取镜像列表并构建离线安装包；2）在离线服务器创建配置文件，配置私有镜像仓库信息；3）通过KubeKey命令执行离线安装。文中提供了详细的manifest-sample.yaml和config-sample.yaml配置文件示例，包含Kubernetes v1.26.12、containerd 1.7.13等组件版本信息，以及华为云镜像仓库地址。该方案适用于无公网环境的国
2025-07-23 20:39:18
1330
1
原创 k8s:docker compose离线部署haborV2.13.1及采用外部的postgresql及redis数据库
本文介绍了在离线环境（Hygon C86 32核处理器+麒麟系统）部署Harbor 2.13.1的详细过程。主要内容包括：1）准备离线安装包并解压；2）配置harbor.yml文件（设置访问地址、HTTPS证书、管理员密码等）；3）修改docker-compose.yml为关键服务添加privileged权限；4）调整docker配置添加insecure-registries并重启服务；5）最后执行docker-compose启动Harbor服务。文中特别强调了HTTPS证书配置、权限问题处理等关键步骤，为
2025-07-23 20:14:44
990
原创 k8s:利用helm离线部署tomcatV11.0.9,报The TOMCAT_PASSWORD environment variable is empty or not set
摘要：安装Tomcat时出现凭据文件不可读错误，原因是usePasswordFiles参数被设为true导致凭据以文件形式挂载而非环境变量。解决方案是将usePasswordFiles设为false，并指定私有镜像仓库、Secret密钥等配置参数。文档还提供了进入Pod、导出部署配置、查看容器用户及卸载Tomcat等操作命令，涵盖了从安装部署到维护管理的完整流程。关键配置包括镜像仓库地址、安全策略设置、密码传递方式等，适用于企业级Tomcat容器化部署场景。
2025-07-22 19:53:30
606
原创 k8s:离线部署tomcatV11.0.9，报Cannot find /opt/bitnami/tomcat/bin/setclasspath.sh
本文记录了在离线环境下部署Tomcat容器时遇到的权限问题及解决方案。在Docker环境中运行Tomcat时出现"找不到setclasspath.sh"错误，通过添加--security-opt seccomp=unconfined参数解决。在Kubernetes环境中部署时出现相同问题，通过设置containerSecurityContext.seccompProfile.type=Unconfined解决。文章对比了Unconfined和RuntimeDefault两种seccomp
2025-07-22 19:11:20
723
原创 k8s：利用helm离线部署consul v1.21.2
本文介绍了在离线环境下部署Consul服务网格的完整流程。环境采用国产化硬件（Hygon CPU+麒麟OS）和Kubernetes生态（KubeSphere 4.1.2），详细说明了Consul各端口功能（8500/HTTP API、8600/DNS等）。通过互联网机器使用Helm下载Bitnami仓库的Consul Chart和镜像，经Docker保存为离线包后，在离线服务器完成镜像加载、标签修改及推送到私有仓库（Harbor）的全过程。最后使用Helm安装配置Consul，包含镜像仓库地址、拉取策略等关
2025-07-22 19:01:51
981
原创 k8s:离线部署存在的相关问题
摘要：本文解决三个常见Kubernetes环境问题：1) 编译docker-compose时缺少Go环境，通过安装Go1.24.4并配置环境变量解决；2) node节点kubectl连接APIServer失败，需从master节点拷贝admin.conf配置文件；3) node节点从Harbor拉取镜像时证书验证失败，需配置CA证书。每个问题均包含详细错误现象、原因分析及操作步骤说明，涉及环境变量配置、kubeconfig文件结构解析等关键知识点。
2025-07-20 15:19:36
843
原创 k8s:离线添加集群节点
本文介绍了在Kubernetes集群中离线添加节点的完整流程。主要内容包括：1）CA证书配置，将Harbor主机的CA证书分别添加到系统信任库、containerd和docker的证书目录；2）节点准备工作，包括拷贝KubeKey工具、配置文件和离线包；3）使用kk命令添加节点，指定配置文件和KubeSphere离线包路径进行部署。关键步骤涉及证书更新、服务重启、目录创建及配置文件编辑等操作，确保新节点能安全访问Harbor仓库并加入集群。
2025-07-20 15:06:18
879
原创 k8s:离线添加集群节点的相关组件安装与升级
本文介绍了在离线环境下基于Hygon C86和麒麟操作系统的Kubernetes集群相关组件安装与升级过程。主要包括：1)通过rpm包安装conntrack 1.4.4；2)源码编译安装socat 1.8.0；3)将Docker从23.0.6升级到28.2.2，包括二进制文件替换、服务配置和用户组处理；4)安装Compose 2.27.2和containerd 1.7.27，涵盖配置文件生成、服务启动及状态检查。所有操作均采用离线方式进行，通过scp命令在各节点间传输安装包，并详细记录了各组件安装步骤和验证
2025-07-20 14:54:47
1148
原创 k8s:手动创建PV，解决postgis数据库本地永久存储
本文介绍了在离线环境下基于Kubernetes集群配置PostgreSQL本地存储的详细步骤。首先创建了名为local-postgresql的StorageClass，采用WaitForFirstConsumer绑定模式，并设置回收策略为Retain。然后手动创建了10Gi容量的PersistentVolume，指定本地存储路径为/app/postdata，并配置节点亲和性确保仅master节点可用。文中详细解释了每个配置参数的含义，包括StorageClass的Provisioner、VolumeBind
2025-07-18 18:40:08
1011
1
原创 k8s:利用kubectl部署postgis:17-3.5
CPU:Hygon C86 7285 32-core Processor操作系统：麒麟操作系统containerd：1.7.27Kubernetes:1.26.12KubeSphere:4.1.2kubekey：3.1.10Harbor:2.13.1Postgis:17-3.5
2025-07-18 18:17:36
874
原创 k8s:0/1 nodes are available: pod has unbound immediate PersistentVolumeClaims.
ZooKeeper Pod (zookeeper-0) 处于 Pending 状态，表明Pod 无法启动是因为它依赖的 PersistentVolumeClaim (PVC) 没有绑定到任何 PersistentVolume (PV)。path: "/mnt/datalog" # 根据实际情况更改路径。path: "/mnt/data" # 根据实际情况更改路径。PVC 已经创建但尚未绑定到任何 PV。创建如下 PV 定义文件（操作系统：麒麟操作系统。
2025-07-13 16:38:16
1131
原创 k8s:Error downloading plugin manifest keys“ error=“Get \“https://grafana.net/api/plugins/ci/keys\“
类型是否适合外网访问推荐用途ClusterIP❌ 否集群内访问NodePort✅ 是测试环境、私有网络访问✅ 是公有云生产环境Ingress✅ 是统一 API 网关、路径路由。
2025-07-12 23:13:11
732
原创 k8s:安装 Helm 私有仓库ChartMuseum、helm-push插件并上传、安装Zookeeper
ChartMuseum 是 Kubernetes 生态中用于存储、管理和发布 Helm Charts 的开源系统，主要用于扩展 Helm 包管理器的功能集中存储：提供中央化仓库存储Charts，支持版本管理和权限控制。跨集群部署：支持多集群环境下共享Charts，简化部署流程。离线部署：适配无网络环境，可将Charts存储在本地或局域网内。HTTP接口：通过HTTP协议提供服务，用户可通过Helm客户端上传、下载及搜索Charts。。
2025-07-10 20:23:48
1166
原创 利用外部Postgresql及zookeeper，启动Apache Dolphinscheduler3.1.9
dolphinscheduler-master master模块，提供工作流管理和编排服务。dolphinscheduler-worker worker模块，提供任务执行管理服务。dolphinscheduler-alert 告警模块，提供 AlertServer 服务。dolphinscheduler-api web应用模块，提供 ApiServer 服务。dolphinscheduler-common 通用的常量枚举、工具类、数据结构或者基类。
2025-07-08 20:21:18
1051
原创 validate CRI v1 image API for endpoint “unix:///run/containerd/containerd.sock“
这个错误表明 crictl 无法通过当前配置与容器运行时（如 containerd）进行通信。具体来说，crictl 正在尝试使用 CRI v1 的 ImageService API，但目标端点（containerd）似乎没有实现该服务，或者其配置不正确。3.3 使用 crictl 测试连接。没有启用 CRI 支持就会报错。3.2使用 ctr 命令测试。
2025-07-07 20:05:52
1144
原创 利用已有的 PostgreSQL 和 ZooKeeper 服务，启动dolphinscheduler-standalone-server3.1.9 镜像
dolphinscheduler-master master模块，提供工作流管理和编排服务。dolphinscheduler-worker worker模块，提供任务执行管理服务。dolphinscheduler-alert 告警模块，提供 AlertServer 服务。dolphinscheduler-api web应用模块，提供 ApiServer 服务。dolphinscheduler-common 通用的常量枚举、工具类、数据结构或者基类。
2025-07-05 21:50:58
691
原创 Apache Dolphinscheduler3.1.9的docker版本，报Cannot create GC thread. Out of system resources
t_ds_process_definition, t_ds_process_definition_log, t_ds_process_instance, t_ds_process_task_relation, t_ds_process_task_relation_log: 与工作流定义、实例、任务关系等相关。t_ds_cluster, t_ds_command, t_ds_datasource, t_ds_dq_*: 分别存储集群信息、命令信息、数据源信息以及数据质量相关的表。
2025-07-05 21:30:04
736
麒麟操作系统下编译的docker-compose2.27.2
2025-07-20
数据挖掘 weka 中文教程
2010-01-25
交通地址库、道路路网台账管理、交通事故上图、交通多发点段分析、交通安全隐患闭环管理
2024-08-04
多维分析 ROLAP的概念
2010-01-25
基于海康设备+srs搭建直播系统V1.0.pdf
2021-03-20
mondrian的基本模式
2010-01-25
基于srs+obs搭建直播系统V1.0.pdf
2021-03-16
ETL工具Kettle中文用户手册
2010-01-25
三维分析1
2008-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人