- 博客(814)
- 资源 (7)
- 问答 (6)
- 收藏
- 关注
RSS订阅原创 Nvidia Triton 使用入门教程
所谓自定义backend就是自己写推理过程，正常情况下整个推理过程是通过模型直接解决的，但是有一些推理过程还会包含一些业务逻辑，比如：整个推理过程需要2个模型，其中要对第一个模型的输出结果做一些逻辑判断然后修改输出才能作为第二个模型的输入，最简单的做法就是我们调用两次triton服务，先调用第一个模型获取输出然后进行业务逻辑判断和修改，然后再调用第二个模型。不过在triton中我们可以自定义一个backend把整个调用过程写在里面，这样就简化调用过程，同时也避免了一部分http传输时延。
2023-08-03 21:32:08
2181
原创 详细 英伟达 各显卡型号
NVIDIA常见的三大产品线如下Quadro类型: Quadro系列显卡一般用于特定行业，比如设计、建筑等，图像处理专业显卡，比如CAD、Maya等软件。GeForce类型: 这个系列显卡官方定位是消费级，常用来打游戏。但是它在深度学习上的表现也非常不错，很多人用来做推理、训练，单张卡的性能跟深度学习专业卡Tesla系列比起来其实差不太多，但是性价比却高很多。Tesla类型: Tesla系列显卡定位并行计算，一般用于数据中心，具体点，比如用于深度学习，做训练、推理等。
2023-07-18 19:59:52
9224
原创 GitLab 私有 Go Modules 的搭建配置
将 GitLab Access Token 写入到。配置 GitLab Access Token。就是上一步生成的 token。是GitLab 用户名，
2023-07-17 09:31:58
586
原创 Python在安装包时出现ValueError: check_hostname requires server_hostname和Read timed out
出现这个问题基本上是因为开了vpn等网络代理软件造成，关掉代理软件即可解决。
2023-07-14 09:57:03
2450
原创 python 代码：img = frame[..., ::-1] 什么意思
是一个使用 Python 的高级索引（Advanced Indexing）功能实现图像颜色空间从 BGR（Blue, Green, Red）到 RGB（Red, Green, Blue）转换的简洁方法。就是将图像的颜色通道从 BGR 变为 RGB，这是因为 OpenCV 读取图像时默认的颜色顺序为 BGR，而在一些其他的库或工具中，使用的颜色顺序通常为 RGB。在具体解释这行代码之前，我们先来了解一下这个操作中使用的 Python 的特性。
2023-07-13 17:03:29
668
原创 详解 goLang 的 channel
下面表格中的内容是 Go 语言中channel数据类型的使用规则，相信读者已经可以熟练掌握，本文主要分析channel的内部实现中的数据结构和算法，所以相关的基础概念会直接跳过， 希望读者阅读完本文后，可以深入理解表格中的各类规则，从应用层代码到底层实现，能够知其然并知其所以然。
2023-07-05 12:42:08
412
转载 MIG-GPU简介与A100-MIG实践详解
GPU的切分（虚拟化）需求基本来自于两个方面，一个是普通消费者，二个是计算/服务中心。对于普通消费者（用户），希望使用到新推出的GPU特性，比如某些高性能的CUDA操作，而这些操作只有高版本的硬件SM才具备；同时，很多情况下消费者并不能用满一整张显卡（比如V100或者A100）的所有资源；另外“数据中心”类的GPU产品，价格都比较高（V100、A100都是wRMB为单位）。所以消费者在使用、价格方面有小资源高性能的GPU需求。某购物平台上面的GPU价格。
2023-06-27 22:02:48
4191
2
原创 Ubuntu安装英伟达显卡驱动、Cuda和Cudnn
文件夹是个软链接，链接到目前的cuda版本目录，所以如果要切换版本的话，只需要将原来cuda软链删除，重新建立指向另一个cuda-xx目录即可。每次安装都会出现如下提示，实际上pre-install固定会失败的，目的就是为了让你知道你自己在干嘛，选择。那一行之后，根据自己上面安装的Cuda版本选择对应的Cudnn版本下载，这里选择的是。为最高能支持到的cuda版本，并非当前系统安装的cuda版本。是否安装显卡驱动，由于上面我们自己安装过了，所以这里选择输入。如果机器上安装了多个版本的cuda，则会在。
2023-06-14 10:04:23
26318
14
原创 Golang 使用Gin框架实现 SSE 服务端
在重试字段中，服务器可以发送超时（以毫秒为单位），之后客户端应在连接中断时自动重新连接。， 具有 W3C 标准化的网络协议和 EventSource 客户端接口，作为 HTML5 标准套件的一部分。在事件字段中，服务器可以发送事件类型。服务器可以在同一个订阅中发送不同类型的事件，也可以不发送任何类型的事件。尽管 SSE 旨在将事件从服务器发送到客户端，但可以使用 GET 查询参数将数据从客户端传递到服务器。要处理连接的建立，它应该订阅 onopen 事件处理程序。在数据字段中，服务器可以发送事件数据。
2023-05-26 11:52:20
3151
原创 Golang 中通过 cgo 调用 C++ 的动态库的功能封装
下面将通过一个示例程序，演示如何在 Golang 中通过 cgo 调用 C++。Golang 中通过 cgo 调用 C++ 的动态库的功能封装。src.cpp 源码。
2023-05-17 21:19:16
1100
原创 goLang 使用 WebAssembly
今天我们快速的对 WebAssembly 进行了背景了解、Go 快速上手、扩展场景了解等。虽然 WebAssembly 是一个新轮子，也号称可以借助 WASI 集成和被集成。但实际上现在各语言对 WebAssembly 的支持程度都不一样，像 Go 官方自己提供的标准库就维护的不怎么样，WASI 的 issues 也没有继续推进。甚至在其他语言的互通，现在仍然有着或多或少会导致阻塞无法应用的问题。可能，还需要再过个 3~5 年？但如此多语言的库维护，能否长久的迭代和维护。也是一个更大的问题。
2023-04-28 15:58:46
709
原创 Ubuntu 上安装 MozJpeg 详解
2023.04.26 花了很多时间，绕了很多弯路才成功安装 mozjpeg 图片压缩命令；至此已完安装完毕，可以使用 mozjpeg 命令了。安装软件包：其他机器上需要的话就不用再编译了。
2023-04-26 11:39:59
922
原创 Go语言实现对称加密算法AES、DES、3DES和非对称加密算法RSA
加密和解密使用的是同一个密钥，数据私密性双向保证，也就是加密和解密都不能泄露密码。
2023-03-31 10:54:22
776
原创 docker: Error response from daemon: could not select device driver ““ with capabilities: [[gpu]]问题解决
我们知道，想要在 docker19 及之后的版本中使用 nvidia gpu 已经不需要单独安装 nvidia-docker 了，这已经被集成到了 docker 中。另外需要注意的是，这个东西是不能直接 apt install，会报找不到该软件，需要先添加英伟达的 apt 软件源。相必大家也知道，要使用宿主机的 GPU，需要在 docker run 的时候添加 --gpus [xxx] 参数。实际上，我们在通过 --gpus 参数来使用宿主机的 GPU 时，需要先安装一个英伟达的容器运行。
2023-03-14 20:59:25
10091
原创 Ubuntu 22.04上安装Anaconda，及 conda 的基础使用
Anaconda是Python和R编程语言的开源包管理器、环境管理器和发行版。它通常用于数据科学、机器学习、大规模数据处理、科学计算和预测分析。Anaconda 提供了1000多个数据科学软件包，提供免费和付费企业版本。Anaconda distribution附带conda命令行实用程序。
2023-03-13 22:12:39
52363
6
原创 ubuntu 22.04 安装 RTX 4090 显卡驱动
成功卸载掉老款驱动后，重新运行下载的驱动安装包，期间可能提示你安装 gcc、make 命令后再安装。经验证，更换4090显卡后，基于cuda10.2编译的pytorch已不受支持；更换为cuda11.6编译的pytorch可正常使用。安装后第一次开机时间较长，耐心等待。
2023-03-09 22:10:56
8856
11
原创 goLang Mutex用法案例详解
Golang以其并发性Goroutines而闻名。不仅是并发，还有更多。因此，在这种情况下，我们必须确保多个goroutines不应该同时试图修改资源，从而导致冲突。为了确保资源一次只能被一个goroutine访问，我们可以使用一个叫做sync.Mutex的东西。
2023-02-17 21:45:30
688
原创 Dockerfile 编写踩坑汇总
WORKDIR 指定工作目录（或称当前目录），以后各层的当前目录就被改为指定的目录，如该目录不存在，WORKDIR 会自行创建。第一层 RUN cd /app 的执行仅仅是当前进程的工作目录变更，一个内存上的变化而已，其结果不会造成任何文件变更。在 Shell 中，连续两行是同一个进程执行环境，因此前一个命令修改的内存状态，会直接影响后一个命令；第二层启动的是一个全新的容器，跟第一层的容器更完全没关系，自然不可能继承前一层构建过程中的内存变化。bash 支持 source。sh 不支持 source。
2023-02-10 22:04:29
1997
原创 Android 系统抓包教程
在编写爬虫前，我们都需要对目标应用进行抓包，然后分析一波后，才能进入到编写脚本的阶段对于使用 iPhone 的小伙伴来说，日常抓包不要太容易。PC 端工具，比如：Charles、Fiddler 完全够打；「 Stream」是 iOS 端一款非常强大的网络抓包应用，界面简洁的同时功能非常强大但对于使用 Android 高版本系统的小伙伴来说，抓包就没那么便利了！
2023-01-10 18:14:46
2074
原创 docker 容器使用 loki 插件收集日志
相关资料： The log-opts in the /etc/docker/daemon.json is not relaoded - General Discussions - Docker Community ForumsRecently I want to use loki-log-driver to ship logs to the loki server. The docker-deamon is controlled by systemd. The /etc/docker/daemon.json
2023-01-07 21:31:38
997
原创 GoLang fmt常用打印方法及占位符介绍
也是比较常用的打印方法，将操作值按照占位符代表的格式进行转换并替换。函数返回打印的字节数数量和错误信息。函数返回打印的字节数数量和错误信息。函数返回打印的字节数数量和错误信息。函数返回打印的字节数数量和错误信息。函数返回一个字节切片。函数返回一个字节切片。函数返回新的字符串。函数返回新的字符串。
2023-01-04 21:20:32
615
原创 FFmpeg 使用 Nvidia GPU 进行转码加速
在FFmpeg官网可以下载到ubuntu/debian的发行包，其他Linux发行版需自行编译。同时，如果要使用GPU进行硬件加速的话，也是必须自己编译FFmpeg的，所以本节将介绍从源码编译安装FFmpeg的方法（基于 ubuntu）
2022-12-22 21:48:28
1438
原创 使用 OpenTelemetry 零代码修改接收 SkyWalking 追踪数据
其中，在OpenTelemetry协议里，Span在所有Trace中都是唯一的，而在 SkyWalking中，Span仅在每个Segment里是唯一的，这说明要通过 SegmentId与SpanId 结合才能在SkyWalking中对Span做唯一标识，并转换为OpenTelemetry的SpanId。另一方面，基于Dapper论文的思想，国内也有SkyWalking开源项目实现了分布式追踪，由于探针的无侵入性，SkyWalking获得了大量的用户，并且有越来越多的贡献者推动着它的高速迭代。
2022-12-20 22:19:17
677
原创 alpine 镜像下 apk 命令的使用
6、apk search 命令搜索可用软件包，-v 参数输出描述内容，支出通配符，-d 或 –description 参数指定通过软件包描述查询。3、apk add：安装PACKAGES并自动解决依赖关系，也可以从第三方仓库添加软件包。8、清理akp缓存:rm -rf /var/cache/apk/*7、apk info：列出PACKAGES或镜像源的详细信息。2、apk update：从远程镜像源中更新本地镜像源索引。1、apk --help命令查看完整的包管理命令。9、apk使用阿里云的源。
2022-12-01 22:02:09
4251
原创 安装TensorRT
在安装之前，一定要确认好自己所使用的CUDA、CUDNN和python的版本，因为这关系着tensorrt的版本。测试时cudnn安装的是11.4，执行cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 无法查看到版本号，但并没有影响到下面的安装步骤。以上，我们就成功的将tensorRT安装完了，试着执行一下python，然后看能不能导入这些模块。解压得到TensorRT-6.0.1.5的文件夹，将里边的lib绝对路径添加到环境变量中。
2022-11-29 22:19:37
1069
原创 JMeter下载及安装配置教程
本文是在win10环境下安装使用jmeter，jmeter可以运行在多平台上Windows和Linux。环境准备：java 8+
2022-11-29 21:59:56
917
原创 GoLang HTTP和REST客户端库: resty
Resty提供了易于使用的动态请求URL路径参数。可以在客户端和请求级别设置Params。客户端级参数值可以在请求级别重写。实现RedirectPolicy接口并在resty客户端注册它。以上设置将导致resty重试请求返回非nil错误最多3次，每次尝试后延迟都会增加。使用ginko模拟restyhttp请求的更详细的例子可以在这里找到。开始发布Resty版本和更高版本的Resty。Resty提供了中间件处理请求和响应的能力。它比回调方法更灵活。Resty在每次尝试后使用backoff来增加重试间隔。
2022-11-11 20:22:22
770
原创 解决 docker 容器无法正常解析域名
a. docker内修改。在/etc/resolv.conf添加一下内容。这种方法只能修改单个docker容器。b. 宿主机内修改。这种方法之后创建的docker容器都会生效。返回如果是not running就说明不是防火墙问题。b. 修改/etc/sysctl.conf。重启主机或者执行下面的命令使之生效。检查docker的DNS服务器。如果为no，执行下面的命令开启。如果返回的结果为0说明未开启。检查宿主机是否开启转发功能。查看防火墙是否开启伪装功能。查看DNS服务器是否正确。a. 直接修改上述文件。
2022-11-07 12:26:30
4243
原创 解决 FFmpeg 执行报错：Too many packets buffered for output stream 0:1
解决方法：加上参数 -threads 2 和 -max_muxing_queue_size 1024 （经过我的测试，发现单独加一个参数不一定行，得同时加上这两个参数）我想把一个媒体文件（1.mp4）转码为视频压缩编码格式为h264，音频压缩编码格式为aac的媒体文件（2.mp4），执行了如下命令。
2022-11-01 15:44:17
1875
原创 Uber 公司推出的 GoLang 编程规范
如果不是lib库，就需要增加所需的上下文信息，不然就会出现 "connection refused" 这样非常 模糊的错误，理论上应该添加上下文，来得到这样的报错信息："call service foo: connection refused"。最好的情况下，编译器会直接报错，最糟糕的情况下，这样的代码会引入难以排查的bug。如果结构体中包含mutex，在使用结构体的指针时，mutex应该是结构体的非指针字段，也不要把mutex内嵌到结构体中，即使结构体是非导出类型。尽管编写内嵌类型已实现的方法是乏味的。
2022-10-24 21:58:21
1620
原创 支付系统架构设计
同时通过标准化的支付指令定义，统一前端支付产品的支付请求接口，提供适应各类产品使用的基础支付服务。选好东西之后，六六这边就要去下单，下单完成之后，进入到了京东的收银台了，京东的收银台，包含了京东支付，微信支付，云闪付等等，支付宝目前还没看到，这些属于第三方支付，这些支付方式在中国都是需要支付牌照的。我们看上面的架构图，对于一个服务平台的支付架构，一般有图中的相关系统组成：直面用户的收银台，记录业务的订单系统，推动交易的交易系统，对支付指令进行处理的支付系统，支付指令传送通道的支付通道子系统。
2022-10-24 21:36:25
1740
原创 SSH 打通外网限制
命令结合起来什么意思呢，我们使用root用户远程连接到115.100.100.100，并且远程主机监听6606端口，当访问此端口时，会跳转到dmz的80端口。dmz可以访问外部22端口，代表请求，回包两个通信通道都是通畅的，我们是否可以借助回包通道，从外部发起到内部的反向访问呢？远程服务器访问转发端口时，数据将封装到回包通道，由于ssh本身加密，外部网络无法知晓网络交互逻辑，从而实现反向访问。如法炮制，再把web服务器到dmz的网络反向打通，dmz服务器访问本地80端口时将跳转到web服务器的80端口。
2022-10-24 21:31:49
341
原创 Go 高性能编程技法
在 Linux 系统中，标准输出也可以视为文件，内核（Kernel）利用文件描述符（File Descriptor）来访问文件，标准输出的文件描述符为 1，错误输出文件描述符为 2，标准输入的文件描述符为 0。频繁地分配、回收内存会给 GC 带来一定的负担，严重的时候会引起 CPU 的毛刺，而 sync.Pool 可以将暂时不用的对象缓存起来，待下次需要的时候直接使用，不用再次经过内存分配，复用对象的内存，减轻 GC 的压力，提升系统的性能。可以预见的是，随着分片粒度地变小，性能差距会越来越大。
2022-10-24 21:09:11
521
centos7 rpm安装yum所需要的包
2020-12-11
elasticsearch 7.4.0 docker-compose文件
2020-11-13
TabNumberIndicator.jar
2020-06-30
rabbitmq 获取前面有多少消息在排队中
2023-01-06
sql in 语句，如何求 结果集 与 in 列表的差集
2021-05-25
nginx 错误日志按日期分隔后，filebeat如何实时采集最近错误
2021-03-17
如何根据项目预估的流量计算需要的web服务器数量
2020-05-27
如何批量导入sql文件到mysql
2015-04-23
能否通过php 代码判断网站来源地址是不是来自百度竞价排名？？？
2015-04-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人