- 博客(1058)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 llm模型计算显存大小
在部署大型（LLM）时，显存（VRAM）的合理规划是决定模型能否高效运行的核心问题。本文将通过详细的公式推导和示例计算，系统解析模型权重、键值缓存（KV Cache）、激活内存及额外开销的计算逻辑，并探讨并发场景下显存需求的变化规律。
2025-04-22 11:22:09
851
原创 docker 支持GPU 问题 安装 NVIDIA Docker
如果你使用的是较新版本的 Docker（如 20.10 或更高），可能不需要单独的 NVIDIA Container Toolkit，因为它已经被整合到 Docker 中了。Docker 已经原生支持 NVIDIA GPU，无需使用 NVIDIA Docker 1.0 或 NVIDIA Docker 2.0 这样的旧工具。这意味着你可以直接使用标准的 Docker 命令来运行基于 NVIDIA GPU 的容器，而无需安装额外的 NVIDIA Docker 插件。：确保你的系统上安装了 Docker。
2025-04-16 15:34:19
947
原创 centos7.9 g++ 高版本 centos-release-scl
【代码】centos7.9 g++ 高版本 centos-release-scl。
2025-04-16 14:45:27
119
原创 AI Transformers 架构体系 权重文件类型 safeterson和gguf格式转换【2-1】
AI Transformers 架构体系，kvq cache，token的生成逻辑，与显存关系【2】
2025-04-16 14:38:38
162
原创 AI 人工智能，机器学习，深度学习之间关系 【1】
机器学习是人工智能的一个子集，它通过让机器从数据中学习规律和模式，而无需显式编程。深度学习则是机器学习的一个子集，特指那些使用多层神经网络（通常称为深度神经网络）来进行学习的算法。在这种意义上，所有深度学习都是机器学习，但并非所有机器学习都是深度学习。
2025-04-12 21:00:50
873
原创 ldap和nexus3.75版本相结合之后admin默认走ladp了没有设置权限了
顺序很重要，就是先走哪个队用户校验，我一开始设置ldap是第一顺位，导致admin用户在ldap存在但是没有设置role权限，解决办法，修改数据库H2。ldap和nexus3.75版本相结合之后admin默认走ladp了没有设置权限了。此时问题就解决了，重启服务。
2025-03-07 17:19:37
208
原创 【docker知识】如何从镜像返回它的Dockerfile文件
一、说明 Docker 镜像是通过构建 Dockerfiles 创建的。构建过程执行 Dockerfile 中的指令来创建构成最终镜像的文件系统层。 如果给出已有图像，您可以检索构建它的 Dockerfile 吗？在本文中，我们将研究两种可以实现此目的的方法。二、逆向的需求 当您构建自己的 Docker 映像时，您应该将 Dockerfile 作为版本控制文件存储在源存储库中。这种做法可确保您始终可以检索用于组装镜像的说明。 如果您使用公共Registoy中的镜
2025-03-05 09:59:23
783
原创 Redis 集群(Cluster)和基础的操作 部署实操篇
三主三从集群概念Redis 的哨兵模式，提高了系统的可用性，但是正在用来存储数据的还是 master 和 slave 节点，所有的数据都需要存储在单个 master 和 salve 节点中。如果数据量很大，接近超出了 master / slave 所在机器的物理内存，就可能出现严重问题了。虽然硬件价格在不断降低，一些中大厂的服务器内存已经可以达到 TB 级别了，但是1TB 在当前这个“大数据”时代，俨然不算什么，有的时候我们确实需要更大的内存空间来保存更多的数据。
2025-02-10 17:34:28
946
原创 Redis 集群(Cluster)和基础的操作 理论篇
cluster 是官方提供的分布式集群解决方案，相对于单机版 redis 拥有更高的存储容量和更高的吞吐量。换句话说，海量存储的终极方案，就是搞集群，多机器。cluster 集群采用去中心化的方式，集群中的每个节点以及客户端都会存储（或者说缓存）一份相同的元数据信息。由于元数据可能会更新，因此整个集群采用 Gossip 协议进行数据交换，该协议的特点是 一传十、十传百的类似于流言的方式，集群节点越多，完成一次全同步需要的时间越长。
2025-02-10 15:32:51
737
原创 Kafka——两种集群搭建详解 k8s
1、简介Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。
2025-01-13 14:31:35
1679
原创 Docker dockerfile镜像编码 centos7
一、 大多数docker基础镜像使用locale查看编码，发现默认编码都是POSIX，这会导致中文乱码。二、首先使用locale -a查看容器所有语言环境。三、dockerfile中加入以下参数重新生成镜像。如果有 en_US.utf8 优先使用。
2024-12-20 13:52:34
511
原创 配置清晰，nignx http tcp 代理 已经websocket
【代码】配置清晰，nignx http tcp 代理 已经websocket。
2024-12-18 16:50:54
698
原创 mvn dependency:copy-dependencies 下载依赖
【代码】mvn dependency:copy-dependencies 下载依赖。
2024-12-05 09:56:38
206
原创 如何将Git仓库中的文件打包成zip文件
文件中被忽略的文件。如果您需要包含这些文件，您可能需要先将它们添加到仓库中，或者在创建zip文件后手动添加它们。这个命令允许您将任何git可访问的树或提交导出成一个归档文件。如果您想要打包特定的分支或标签，可以将。仓库中的文件打包成zip文件，您可以使用。如果您想要打包当前分支的最新版本，使用。替换为分支名或标签名。
2024-09-25 15:17:28
450
原创 AI:GPU 算力与 CUDA 版本对应关系
https://developer.nvidia.com/cuda-gpus#computeNVIDIA Datacenter Drivers :: NVIDIA Data Center GPU Driver Documentationhttps://en.wikipedia.org/wiki/CUDA#GPUs_supported
2024-09-24 16:12:18
654
原创 AI:paddlepaddle2.6,paddleorc2.8,cuda12,cudnn,nccl,python10环境
1.安装英伟达显卡驱动首先需要到NAVIDIA官网去查自己的电脑是不是支持GPU运算。。打开后的界面大致如下，只要里边有对应的型号就可以用GPU运算，并且每一款设备都列出来相关的计算能力（Compute Capability）。如果是ubuntu系统：明确了显卡性能后，接下来就开始在ubuntu系统安装对应的显卡驱动。或者去官网下载驱动再手动安装的方式，命令官网上有。上图显示cuda最高支持12.1版本驱动版本Driver Version: 530.41.03。
2024-07-12 17:12:50
2714
原创 PyTorch、TensorFlow 两者和Transformers的关系,openai,chatgpt
Transformers库是由Hugging Face开发的，它建立在PyTorch和TensorFlow之上，提供了许多预训练的Transformer模型和相关工具。PyTorch是由Facebook开发的深度学习框架，它提供了丰富的工具和API，使得构建和训练神经网络变得更加简单和高效。因此，PyTorch和TensorFlow是深度学习框架，而Transformers是一个基于这两个框架之一的库，专注于提供预训练的Transformer模型和相关工具。
2024-03-01 17:40:49
3899
1
原创 云原生之可观测性-APM概念及选型
监控系统是IT运维和产品运营的一双眼睛，随着业务到达一定的量级，监控需求会越来越丰富，目前市面上开源的监控系统都存在这样或者那样的问题。在国内外，监控系统的技术问题和产品体验都存在很多需要突破的点，后续将持续分享一些自己的看法。云原生之可观测性 - APM概念及选型专家压测服务-腾讯WeTest，您的质量守护专家。
2024-02-02 09:59:02
1620
原创 rancher和k8s接口地址，Kubernetes监控体系，cAdvisor和kube-state-metrics 与 metrics-server
1.k8s原生api地址k8s的REST API：http://127.0.0.1:8001/apis/metrics.k8s.io/v1beta1/nodeshttp://127.0.0.1:8001/apis/metrics.k8s.io/v1beta1/nodes/<node-name>http://127.0.0.1:8001/apis/metrics.k8s.io/v1beta1/namespace/<namespace-name>/pods/<pod
2024-01-22 17:16:03
1468
1
原创 通过curl访问k8s集群获取证书或token的方式
RBAC（Role-Based Access Control，基于角色的访问控制）：负责完成授权（Authorization）工作。RBAC（Role-Based Access Control，基于角色的访问控 制），允许通过Kubernetes API动态配置策略。• 资源操作方法：get，list，create，update，patch，watch，delete。创建k8s的用户，用户分为普通用户和serviceAccount用户。serviceAccount：内部集群资源直接访问的用户。
2024-01-22 12:54:28
3243
原创 说清楚Kubernetes、Docker、Dockershim、Containerd、runC、CRI、OCI的关系
Kubernetes v1.20版本 的 release note 里说 deprecated docker。并且在后续版本 v1.24 正式删除了 dockershim 组件，这对我们有什么影响呢？为了搞明白这件事情，以及理解一系列容器名词 docker, dockershim, containerd, containerd-shim, runC, CRI, OCI...。我们先捋一下 Kubernetes 与 Docker 的发展与关系。
2024-01-15 11:10:31
1825
1
原创 subversion httpd
通过http访问模式部署SVN的操作步骤如下：步骤一：安装SVN步骤二：安装Apache步骤三：安装mod_dav_svn步骤四：配置SVN步骤五：配置Apache步骤六：浏览器测试访问。
2024-01-09 15:52:54
1007
原创 SpringBoot中maven的parent标签的来源与详解
在jettopro-image项目的pom中引入parent项目也就是jettopro，此时会自动加载jettopro父项目中的<dependencies>的lombok.jar包，而<dependencyManagement>中的<dependencies>为可选包，不会在jettopro-image项目中导入，除非自己在jettopro-image项目中导入同时导入不需要写版本号。首先先创建一个parent项目，打包类型为pom，parent项目中没有任何代码，只是管理多个项目之间的公共的依赖。
2023-12-22 16:35:48
3312
原创 java agent技术原理及简单实现
由于在上述提到的各种技术都难以很好的支持在对原有项目无任何修改下完成MOCK功能的需求，在查阅资料后，将目光放至了java agent技术。java agent本质上可以理解为一个插件，该插件就是一个精心提供的jar包，这个jar包通过JVMTI（JVM Tool Interface）完成加载，最终借助JPLISAgent（Java Programming Language Instrumentation Services Agent）完成对目标代码的修改。
2023-12-21 17:35:58
1809
原创 jvm-sandbox-repeater 精简版部署之非standalone模式
5.1、在 console 增加配置，用于对接应用（注意这个和之前纯命令行有点不同，命令行是先完成第二步）5.2、让 repeater 注入到被测应用，上报数据到 console。1. 调整 repeater 模式配置，改为用 console。4.3、修复官方仓库里 console 一些代码问题。现在，借助界面来做一次录制回放吧。5.3、在 console 中操作，进行录制和回放。5.1、在 console 增加配置，用于对接应用。5. 使用界面化的 console 进行录制回放。，去掉双引号里面第一个。
2023-12-08 14:47:33
1008
原创 jvm-sandbox-repeater 精简版部署之standalone模式
仅仅提供了录制回放的能力，如果需要完成业务回归实时监控压测等平台，后面须要有一个数据中心负责采集数据的加工、存储、搜索，repeater-console提供了简单的demo示例；一个模块管理平台负责管理JVM-Sandbox各模块生命周期；一个配置管理平台负责维护和推送jvm-sandbox-repeater采集所须要的各种配置变更。
2023-12-07 14:06:43
2329
原创 nginx之rewrite
rewriterewrite 作用是地址重定向，语法：rewrite regex replacement[flag];根据 regex（正则表达式）匹配请求地址，然后跳转到 replacement，结尾是flag标记如下例子，请求地址是 http://192.168.25.131:9003/baidu/开头的，都会跳转到百度。
2023-11-29 15:24:42
1467
原创 Maven 进阶学习指南---setting详解
当我们在开发项目时，有时需要用到外部依赖组件，例如当我们需要 Json 序列化的时候需要用到 FastJson 组件，我们可以通过下载对应 jar 包加载到项目中。但当一个大的项目同时需要依赖各种各样的外部服务，就存在着配置繁琐、依赖冲突等问题，因此可以通过 maven 来完成对应的依赖管理功能全局 settings.xml 是 maven 的全局配置文件，一般位于 ${maven.home}/conf/settings.xml，即 maven 文件夹下的 conf 中。
2023-11-29 10:39:54
13510
原创 docker nginx imclude
Nginx 的配置分为多个块，其中 http 块是其中的主要部分，包含了 http 的相关配置。$request。
2023-11-28 16:19:37
1778
1
原创 轻松解决rpm软件包的依赖问题repotrack和yum download ，rpm和deb不同系列
centos rpm系列的为它往往有很多依赖项目。
2023-11-23 17:37:48
748
httrack-3.49.2-8.el8.x86_64
2022-03-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人