- 博客(807)
- 资源 (7)
- 问答 (6)
- 收藏
- 关注
原创 turbovnc 服务端、客户端安装
turbovnc 可以方便地远程登录带界面的linux系统,比如xbuntu;远程windows11系统,经过亲身测试体验,感觉还是不是windows自带的rdp服务好用。
2024-09-04 21:59:02 224
原创 gin 通过 OpenTelemetry 实现链路追踪
OpenTelemetry是一组与供应商无关的开源工具、API 和 SDK,用于检测应用程序以创建和管理遥测数据(日志、指标和跟踪)。它旨在使遥测数据(日志、指标和跟踪)成为云原生软件应用程序的内置功能。然后将遥测数据发送到可观察性工具进行存储和可视化。OpenTelemetry 库检测应用程序代码以生成遥测数据,然后将其发送到可观察性工具进行存储和可视化OpenTelemetry 库检测应用程序代码以生成遥测数据,然后将其发送到可观察性工具进行存储和可视化。
2024-08-30 21:54:54 1174
原创 分布式对象存储minio
二是恢复还原,通过对数据结合校验码,通过数学计算,还原丢失或损坏的数据,可以在保证数据可靠的前提下,降低冗余,如单机硬盘存储中的 RAID技术,纠删码(Erasure Code)技术等。MinIO 采用的就是纠删码技术。冗余法最简单直接,即对存储的数据进行副本备份,当数据出现丢失,损坏,即可使用备份内容进行恢复,而副本备份的多少,决定了数据可靠性的高低。关于纠删码,简单来说就是可以通过数学计算,把丢失的数据进行还原,它可以将n份原始数据,增加m份数据,并能通过n+m份中的任意n份数据,还原为原始数据。
2024-07-15 16:31:18 4735
原创 goLang 通过 Select + Channels 实现定时任务与调度
time 包 在与 channel 结合时提供了很多有用的功能,其中 time.Ticker 结构体能够处理定时事件,它会定期在指定 channel 上发送时间值。在这篇文章中,我们深入探讨了如何使用 Go 语言中的 time 包与 channel 结合来处理定时事件和任务调度。通过 time.Ticker 结构体的周期性触发和 select 语句的多路复用能力,我们可以创建高效且响应迅速的定时任务处理系统。Ticker 对于在 goroutine 中周期性执行任务(如日志记录或计算)非常方便。
2024-07-15 16:23:07 656
原创 修改hostname导致RabbitMQ数据丢失
公司的很多关键服务都使用了RabbitMQ来作为消息队列服务, 可以说是非常地关键的一个环节, 最近由于业务量的上升, 导致RabbitMQ的CPU持续走高, 所以抽空研究了一下RabbitMQ的扩容, 利用我们自己运维平台使用的一个单节点的RabbitMQ来作为测试吧.看到这个单节点的RabbitMQ的服务器主机名不是很规范, 所以就顺手改了主机名。
2024-05-31 09:58:15 620
原创 bracketed paste mode:命令行终端粘贴文本,开头出现^[[200~,结尾出现~
目的是为了区分是自己编辑的还是粘贴过来的,对于粘贴过来的需要编辑后才能运行,所以才有前缀和后缀。回车即可关闭 bracketed paste mode。在命令行终端粘贴文本,首尾会自动添加其它特殊字符。注意:不要使用 :set paste 粘贴上面文本。
2024-05-06 15:33:33 585
原创 BurpSuite 爆破后台帐户系统密码
而爆破的密码不是随机的,需要让BurpSuite跑字典,字典的内容就是需要爆破的密码,使用题目给用的字典,若没有字典可以尝试自己手动使用txt纯文本录入或上网搜索资源。成功抓包后,即可开始爆破密码,首先需要知道题目用户名,通常来讲用户名为admin,题目中的提示也是admin,所以将username设置为定值为admin。打开浏览器,进入设置页面,在代理设置中设置IP地址为127.0.0.1,端口号为8080。添加符号注意,在值前后都加上符号是定值,只在前面加符号是变量,爆破针对变量!
2024-04-18 16:47:11 2304
原创 哈希密码破解方法汇总
其功能强大,支持非常多的格式包括一些CTF中比较偏的Unicode、ROT47...总之就是功能强大,除了加盐值(salt)的hash解不了,几乎其他通杀。网站需要开梯子进去,需要进行人机验证才能帮你破解,但有时候对于一些小的密文却意外的好用,有些小的密文用hashcat跑字典也会跑到死,而这个两秒出结果。用法:先看看密文的特征,然后去上面的网站进行特征对比,找到对应的hash-mode(数字),接着就可以在kali里暴力破解了。正如其名,用于鉴别密文的格式,对那些不熟密码学的人来说挺好的。
2024-04-15 18:14:40 2444
原创 WSL创建docker容器报错:libnvidia-ml.so.1: file exists: unknown.
如果同一个镜像的容器在非WSL下,即纯物理机Ubuntu环境下使用nvidia-docker启动是不会报错的。也就是说该种错误只有在WSL下使用nvidia-docker启动某个镜像下的容器才会如此报错。
2024-03-13 10:54:14 1506
原创 Docker Desktop将镜像存储位置从C盘迁移到其它盘
4、从 wsl 把镜像 dataext4.vhdx 导出到压缩文件 docker-desktop-data.tar,导出路径应提前创建好,否则导出到不存在的路径会报错。5、命令行执行 wsl --unregister docker-desktop-data,注销原来的 Docker 镜像。2、命令行执行 wsl --list -v 查看状态STATE,是否已停止Stopped。同理,执行 wsl --unregister docker-desktop。可以命令行执行wsl --list -v 看到。
2024-03-11 22:07:37 2937
原创 kali linux常用命令
例子:`gobuster dir -u http://example.com -w /path/to/wordlist.txt` 使用 Gobuster 对网站进行目录枚举。- 例子:`ettercap -T -M arp:remote /192.168.1.10// /192.168.1.1//` 使用 Ettercap 对网络进行中间人攻击。- 例子:`sslyze --regular www.example.com` 使用 SSLyze 对网站的 SSL/TLS 设置进行评估。
2024-02-29 22:41:09 1168
原创 CUDA error: uncorrectable ECC error encountered
ECC(error correcting code, 错误检查和纠正)能够提高数据的正确性,随之而来的是可用内存的减少和性能上的损失。可查看第n个个显卡的简要信息(详细信息可通过 nvidia-smi -q -i 0获取),其中有一项是volatile Uncorr. ECC, 可通过该选项查看当前配置。通过 nvidia-smi -i n -e 0/1 可关闭(0)/开启(1)第n号GPU的ECC模式。通过实践,关闭ECC程序的性能能得到13%~15%的提升。经过摸索,需要关闭英伟达显卡的ECC参数。
2024-02-19 21:59:24 3109
原创 NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver. Make sure that the lat
刚开始以为是驱动安装包的问题,但是从英伟达官网下载多个不同版本的驱动安装后,执行nvidia-smi命令依然报一样的错误。查阅大量网上资料后最后定位是 ubuntu 内核版本的问题,通过以下方案解决。后面有recommended的版本就是推荐安装的nvidia驱动版本号。使用root账户执行上面的命令,然后再执行第2步即可。
2024-01-09 22:39:22 1067
原创 Vim 用法详解
C or c$表示修改当前行上光标后面的部分. 进入编辑状态.c0 or c^表示从光标处到当前行行首的部分进行修改,^代表首个非空格处。cc OR S修改当前行. 进入编辑状态.cw从光标所在的位置开始到该单词结束进行修改. 进入编辑状态这里的 x 为一任意字符, cfx 表示修改从光标到下一个字符 x 之间的文本;cFx 表示修改从光标到上一个字符 x 之间的文本.cn|修改从光标到当前行的第 n 个字符间的所有字符, n 正整数.cnG and cG。
2024-01-09 22:25:04 1688
原创 docker desktop 运行带 --gpus all 参数容器报:Auto-detected mode as ‘legacy‘ nvidia-container-cli: mount error
报错起因:执行 docker 运行容器命令:报错:failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running hook #0: error running hook: exit stat
2023-12-25 21:17:05 3222
原创 内网穿透工具 frp 使用详解
如下图所示, 一般情况下, 公网内的设备都能够被任意一台设备访问到!!而不同局域网内的设备是相互隔离的, 局域网A的设备是无法访问到局域网B内的设备而内网穿透技术, 顾名思义就是能让公网、或者当前局域网外的任意设备访问到局域网内某个设备!如下图, 设备C实现了内网穿透技术, 所以局域网内任意设备都能够访问到当前设备那么有了内网穿透我们可以做啥呢?
2023-12-21 10:16:41 3957
原创 pycharm通过ssh连接远程服务器的docker容器进行运行和调试代码
pycharm连接远程服务器的docker容器通常有两种方法:第一种:pycharm通过ssh连接已在运行中的docker容器第一种方法比较通用简单,作者比较推崇。条件:(1)准备好pycharm专业版,社区版没有连接远程服务器的功能(2)远程服务器ubuntu,已安装好docker。
2023-12-18 22:05:18 1736
原创 linux 命令 tmux 用法详解
打开tmux 运行该命令会新建一个窗口为0,此时窗格就是窗口的默认会话,会话名默认为0,也可以自定义会话名字,这个后面会说到。$ tmux按下Ctrl+d或者显式输入exit命令,就可以退出 Tmux 窗口。
2023-12-04 17:54:17 8875
原创 Pytorch报错 RuntimeError: cuFFT error: CUFFT_INTERNAL_ERROR
将线上V100显卡运行的lama图片去水印服务 docker 容器迁移到线下 4090 显卡上运行;3、 重新安装 pytorch。1、卸掉容器中的cuda。4、出现另外的依赖报错。2、重新安装cuda。
2023-11-30 21:57:04 2615
原创 ubuntu 手动清理内存cache
sync 命令将所有未写的系统缓冲区写到磁盘中,包含已修改的 i-node、已延迟的块 I/O 和读写映射文件)。数据一般是先从硬盘调到内存来被CPU进行处理,sync是一个非常牛逼的命令,他可以将放在内存中暂时没有写入硬盘的数据写入到硬盘中,避免数据的丢失。在关机的时候默认的有这个命令,如果是不正常关机的话,开机后也需要多进行这么个几次命令,好避免运行过程中在内存的数据被调用出来。/proc是一个虚拟文件系统,我们可以通过对它的读写操作来做为与kernel实体间进行通信的一种手段。
2023-11-22 18:36:02 2064
原创 trzsz支持文件拖动到终端进行上传,类似lrzsz
使用rz和sz命令就会方便很多,但是却又与 TMUX 不兼容(备注:Tmux是一个终端复用工具,允许用户在一个终端窗口中同时运行多个终端会话或者程序。支持拖动文件及目录直接上传到服务器。在本地使用trzsz ssh IP地址登录服务器,或使用trzsz -d ssh IP地址登录,即可支持拖动文件和文件夹上传。trzsz-go 是基于 Go 语言实现的的 trzsz,它不需要依赖终端的支持,即可上传和下载文件。tsz 可以下载一个或多个文件,可使用相对路径或绝对路径,也可使用通配符,下载指定文件。
2023-11-20 21:48:06 729
原创 Win11专业版安装Docker Desktop,并支持映射主机的gpu
1. 64位Windows 11 Pro(专业版和企业版都可以)2. Microsoft Hyper-V,Hyper-V是微软的虚拟机,在win11上是自带的,我们只需要启动就可以了。
2023-11-11 17:59:02 1521
原创 nacos配置中心docker部署、配置及 goLang 集成使用
平时我们写一个demo的时候,或者说一个单体的应用,都会有一个配置文件,不管是 json文件或者yaml文件,里面包含了redis,mysql,es等信息,如果我们修改了配置文件,往往我们需要重启,为了避免重启,后来引入了viper,可以实现热更新。如果是一个分布式系统,肯定是有很多服务模块做支撑的,而且服务是可伸缩的,可能有几十台服务,也可能有几百台服务。如果每个服务模块下面都有自己的配置文件,那么如果mysql更新了端口号,运维人员就得一个一个文件的改。所以综上,对于服务的配置,大概有这么三个痛点。
2023-11-06 15:20:38 1784
原创 Zeebe 微服务编排引擎 入门
公司的端到端工作流几乎总是跨越多个微服务。例如,在电子商务公司中,“客户订单”工作流可能涉及支付微服务、库存微服务、配送微服务等等。这些跨微服务工作流是公司的核心收入驱动因素,但它们很少被建模和监控;通常,通过不同微服务的事件流仅在代码中隐含地表示。如果是这样,我们如何确保工作流的可见性并提供状态和错误监视?我们如何保证整个流始终是完整的,即使单个微服务失败?或者我们如何至少认识到一个流程被卡住了所以我们可以进去并修复它?
2023-11-02 18:10:22 733
原创 ubuntu 通过apt-get快速安装 docker
现在,Docker 已经成功安装在你的 Ubuntu 系统上。你可以使用 Docker 命令来管理容器和镜像。安装 Docker 之前,你需要确保你的系统已经准备好并且已经更新了软件包列表。以下是在 Ubuntu 系统上使用。请注意,Docker 的使用可能需要使用。将根据你的 Ubuntu 版本自动替换为对应的代号。来运行 Docker 命令。如果你选择将用户添加到。组中,请确保理解潜在的安全风险。请注意,上述命令中的。
2023-10-11 12:29:34 1603
原创 PyCharm 远程debug 快速上手
如果程序部署在远端,要在本地获取程序运行状态并进行断点调试,必然需要连接到程序并进行通讯;利用Pycharm进行远程调试的过程中,Pycharm充当服务器的角色。首先,对Pycharm Run/Debug Configures进行配置,指定Pycharm安装端的一些属性,比如Pycharm所在主机的IP地址和端口号等。然后,启动Pycharm的远程调试。这时Pycharm处于监听状态,等待独立于IDE之外运行的程序的连接。
2023-09-22 22:03:51 2291 1
原创 通俗讲解傅里叶变换
在音频处理中,不同人对于同一个音节发出的声音,其傅里叶变换后的系数是不同的,并且可能每个人的模式是稳定的,就像指纹一样,那么傅里叶变换后的系数就可以来识别、合成某个人的声音,把某个人的发音中的某些系数进行调整,就变成了另一个人发音;在音频处理中,不同人对于同一个音节发出的声音,其傅里叶变换后的系数是不同的,并且可能每个人的模式是稳定的,就像指纹一样,那么傅里叶变换后的系数就可以来识别、合成某个人的声音,把某个人的发音中的某些系数进行调整,就变成了另一个人发音;
2023-09-07 22:11:01 609
原创 运行flask报WARNING: This is a development server. Do not use it in a production deployment.
运行 flask 程序,报:WARNING: This is a development server. Do not use it in a production deployment.1. 下载gevent包:在控制台输入: pip install gevent2. 修改 flask 启动代码:解决方案二,虽然 PyWSGI 服务器相对轻量并且易于设置,但许多人更倾向于使用像 Gunicorn 这样的 WSGI HTTP 服务器,因为它提供了更强大的功能,例如负载均衡和热重载。1. 安装 Gu
2023-08-12 16:15:38 16577 2
原创 解决 Python RabbitMQ/Pika 报错:pop from an empty deque
从结果来看,异常发生在一次长时间的消费过程(200s)完成后报错,具体为调用channel.basic_ack(delivery_tag)发生报错;推测是此时与MQ Server的连接已经被重置ConnectionResetError(104, 'Connection reset by peer'),此时再主动确认就发生报错。是线程不安全的,所以在接收消息和ACK响应消息时需要另外线程。
2023-08-09 21:40:55 1977
原创 Nvidia Triton 使用入门教程
所谓自定义backend就是自己写推理过程,正常情况下整个推理过程是通过模型直接解决的,但是有一些推理过程还会包含一些业务逻辑,比如:整个推理过程需要2个模型,其中要对第一个模型的输出结果做一些逻辑判断然后修改输出才能作为第二个模型的输入,最简单的做法就是我们调用两次triton服务,先调用第一个模型获取输出然后进行业务逻辑判断和修改,然后再调用第二个模型。不过在triton中我们可以自定义一个backend把整个调用过程写在里面,这样就简化调用过程,同时也避免了一部分http传输时延。
2023-08-03 21:32:08 1612
原创 详细 英伟达 各显卡型号
NVIDIA常见的三大产品线如下Quadro类型: Quadro系列显卡一般用于特定行业,比如设计、建筑等,图像处理专业显卡,比如CAD、Maya等软件。GeForce类型: 这个系列显卡官方定位是消费级,常用来打游戏。但是它在深度学习上的表现也非常不错,很多人用来做推理、训练,单张卡的性能跟深度学习专业卡Tesla系列比起来其实差不太多,但是性价比却高很多。Tesla类型: Tesla系列显卡定位并行计算,一般用于数据中心,具体点,比如用于深度学习,做训练、推理等。
2023-07-18 19:59:52 7801
原创 GitLab 私有 Go Modules 的搭建配置
将 GitLab Access Token 写入到。配置 GitLab Access Token。就是上一步生成的 token。是GitLab 用户名,
2023-07-17 09:31:58 524
原创 Python在安装包时出现ValueError: check_hostname requires server_hostname和Read timed out
出现这个问题基本上是因为开了vpn等网络代理软件造成,关掉代理软件即可解决。
2023-07-14 09:57:03 2265
原创 python 代码:img = frame[..., ::-1] 什么意思
是一个使用 Python 的高级索引(Advanced Indexing)功能实现图像颜色空间从 BGR(Blue, Green, Red)到 RGB(Red, Green, Blue)转换的简洁方法。就是将图像的颜色通道从 BGR 变为 RGB,这是因为 OpenCV 读取图像时默认的颜色顺序为 BGR,而在一些其他的库或工具中,使用的颜色顺序通常为 RGB。在具体解释这行代码之前,我们先来了解一下这个操作中使用的 Python 的特性。
2023-07-13 17:03:29 556
原创 详解 goLang 的 channel
下面表格中的内容是 Go 语言中channel数据类型的使用规则,相信读者已经可以熟练掌握,本文主要分析channel的内部实现中的数据结构和算法,所以相关的基础概念会直接跳过, 希望读者阅读完本文后,可以深入理解表格中的各类规则,从应用层代码到底层实现,能够知其然并知其所以然。
2023-07-05 12:42:08 377
转载 MIG-GPU简介与A100-MIG实践详解
GPU的切分(虚拟化)需求基本来自于两个方面,一个是普通消费者,二个是计算/服务中心。对于普通消费者(用户),希望使用到新推出的GPU特性,比如某些高性能的CUDA操作,而这些操作只有高版本的硬件SM才具备;同时,很多情况下消费者并不能用满一整张显卡(比如V100或者A100)的所有资源;另外“数据中心”类的GPU产品,价格都比较高(V100、A100都是wRMB为单位)。所以消费者在使用、价格方面有小资源高性能的GPU需求。某购物平台上面的GPU价格。
2023-06-27 22:02:48 3334 2
centos7 rpm安装yum所需要的包
2020-12-11
elasticsearch 7.4.0 docker-compose文件
2020-11-13
TabNumberIndicator.jar
2020-06-30
rabbitmq 获取前面有多少消息在排队中
2023-01-06
sql in 语句,如何求 结果集 与 in 列表的差集
2021-05-25
nginx 错误日志按日期分隔后,filebeat如何实时采集最近错误
2021-03-17
如何根据项目预估的流量计算需要的web服务器数量
2020-05-27
如何批量导入sql文件到mysql
2015-04-23
能否通过php 代码判断网站来源地址是不是来自百度竞价排名???
2015-04-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人