- 博客(98)
- 资源 (3)
- 收藏
- 关注
原创 python程序内存泄漏的解决方法
笔者在实际应用过程中,利用python解析交易数据,其中的方法是对文件夹进行遍历,然后根据里面的每个文件进行单独的解析,也就是用到了多层循环,结果导致内存占用越来越大,以至于最终内存满了而程序崩溃退出。但是因为笔者的程序调用了外部API,这个相对比较难查找,因此弃用。在上述代码中,每次使用os.system进行调用之后,都会自动进行内存资源的回收。笔者查询了好多方法,包括直接使用gc进行内存回收, gc.collect()而很明显的一个现象就是程序人工中断退出之后,内存快速回收。
2023-12-01 19:21:15 927
原创 virtualbox中windows11开机自动登录设置
但是实际测试发现,必须windows11的用户登录该系统之后该应用才能启动,否则尽管windows11系统启动了但是用户没有登录的情况下还是没有启动该应用。笔者在实际应用过程中,使用了Vritualbox系统安装windows11,然后在windows11中部署了相关应用,需要在开机之后自动启动该应用。在windows11中进行设置用户自动登录,需要用到注册表,因此在运行输入框 输入 regedit 回车,启动注册表界面。ok,闲言少叙,接下来说说具体如何设置。
2023-12-01 19:15:40 864 1
原创 利用python实现文件压缩打包的功能
需要注意的是,上面的代码实际上只执行了一个打包的功能,根本没有对文件进行压缩,所以打包之后的文件大小没有什么变化,这显然不是我想要的。那么如果已经存在该压缩文件,现在想往该压缩文件里面追加文件,是否可以?其中的模式 w表示如果没有该文件则创建该文件,如果有该文件则覆盖。结果发现,外甥打灯笼--- 照舅(旧),对多个参数值进行尝试。这就需要对ZipFile函数的具体参数有所了解。实际上肯定可以的,只需要将w改成a即可。实际上肯定可以的,只需要将w改成a即可。
2023-12-01 19:10:05 647
原创 深度学习---自有图像数据集划分
当然 前提是将自有图像数据集已经按照分类进行了预处理,每个分类的图像作为一个单独的目录。要对自有图像数据集进行图像分类,首选需要将自有图像数据集划分为train和val(或者test)数据集。在执行了上述代码之后,实现了自有图像数据集的划分,然后就可以利用该数据集进行模型训练了。
2023-08-13 18:56:47 474
原创 linux系统关机前自动执行脚本的相关设置方法
编写 service文件: vim /usr/lib/systemd/system/custom_shutdown.service。可以根据以上内容修改其中的ExecStart=/scripts/automonitor.sh 为自己想要的内容。有的时候在实际使用过程中,需要在linux 关机或者重启前自动执行脚本,这可以通过systemctl命令来实现。然后 systemctl enable custom_shutdown.service。即可在关机或者重启的时候执行上述指定的脚本。
2023-07-03 19:59:29 1151
原创 Linux系统缩短关机/重启时间的方法
然后修改 /etc/systemd/system.conf,具体命令如下: vim /etc/systemd/system.conf。在Linux系统中,有的时候需要重启或者关机,但是因为要关闭其中的相关进程导致关机过程中等待好久,所以有必要进行调整。默认是90s,可以修改为如上的5s之类的。欢迎访问,查看更多内容。
2023-07-03 19:58:53 453
原创 loki 的memberlist查看
即可将以上的不同loki进程整合为一个整体。loki作为目前比较 通用的日志类数据管理软件,使用起来具有一定的门槛。loki既可以支持单机版使用,也可以为了应对大规模数据而采用集群模式进行部署。假设loki的查询地址为 http://127.0.0.1:3000 那么查询网址为: http://127.0.0.1:3000/ring。而在集群模式下,需要在配置文件中用到memberlist字段进行内部的令牌环管理。
2023-07-03 19:34:34 542
原创 vector 数据流查询命令
A lightweight, ultra-fast tool for building observability pipelines,vector在日常运维数据采集中也具有非常重要的作用。而在实际使用过程中,往往需要看到vector是否已经接收到数据,是否已经对外发送数据,也就是所谓的数据流查询命令。
2023-07-03 19:17:27 301
原创 安装gym指定版本
笔者近期接触深度强化学习,想按照网上的相关资料实际操作和学习一番,而深度强化学习的实例中,很多都用到了gym这个库。有关这个gym库的介绍,笔者在此不再赘述,只简单说一下实际使用过程中遇到的问题。
2023-05-29 16:07:10 3195 1
原创 windows系统中安装目标检测平台detectron2
detectron2是Facebook研发并开源的目标检测平台,包含了大量业内最具代表性的目标检测、图像分割、关键点检测算法等。第二步: 根据python版本选择Jpype进行安装 https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype。但是笔者这里安装的时候报错了,忽略该问题,直接跳转到上面安装Detectron2,发现成功安装。笔者在执行第一行命令进行下载的时候,完全没有问题。但是第二行则直接报错,相关错误如下:。笔者经查询,解决方案如下:。
2023-04-21 09:23:18 1272 1
原创 采集主机log日志并发送至loki的方法
在ubuntu以及Centos等主机系统中,会产生一些系统日志信息,这些信息有助于后续查找故障原因,提升主机运行质量。因此本文简单介绍一下,如何将这些信息主动发送至Loki系统中予以持久化保存。
2023-02-09 14:31:45 1335
原创 离线脱机版个人笔记软件的选择
笔者平时在工作过程中,经常有一些心得体会或者操作手册之类的内容需要记录,之前一直是采用word版本或者网络文章blog等方式予以记录。但是总觉得不是特别方便,要么受限于网络,不方便上网的地方无法使用,要么是文章组织形式比较糟糕,查询文章比较困难。笔者经过搜索,发现网友们有推荐为知笔记WizNote,支持在线写笔记,也可以通过docker下载的方式获取离线版本,并且离线版本可以做到免费,只是受到一些限制。但是笔者经过使用发现有点不太方便(需要安装docker等,或许是笔者太懒了)。另外有网友推荐思..
2022-01-29 15:36:59 4667
原创 ubuntu20.04 安装onos
是由ON.Lab使用Java及Apache实现发布的首款开源的SDN网络操作系统,主要面向服务提供商和企业骨干网。ONOS的设计宗旨是满足网络需求实现可靠性强、性能好、灵活度高。此外,ONOS的北向接口抽象层和API支持简单的应用开发,而通过南向接口抽象层和接口则可以管控OpenFlow或者传统设备。笔者尝试在ubuntu20.04版本中安装onos,起初按照网上的相关攻略,先安装bazel,然后下载onos的源代码进行编译。结果运行bazel build onos的时候,错误百出,有些文章指出是网络的
2021-09-27 14:50:07 2431 1
原创 mininet基本操作
mininet是由斯坦福大学基于Linux Container架构开发的一个进程虚拟化网络仿真工具,可以创建一个包含主机,交换机,控制器和链路的虚拟网络,其交换机支持OpenFlow,具备高度灵活的自定义软件定义网络。在ubuntu系统中安装mininet比较简单,直接通过命令行安装即可:apt install mininet安装完成之后,即可在终端使用mn命令进行相关操作。不过这种方式相对比较抽象,不是特别直观。mininet2.2.0版本之后包含了miniedit程序,可以进行可视化的配.
2021-09-26 13:45:51 1792
原创 MLFlow最简单实例
近几天接触到一个开源的机器学习实验管理平台MLFlow,它独立于第三方机器学习库,可以与任何机器学习库、任意语言结合。本文介绍一个最简单的实验例子:安装很简单:pip install mlflow简单实例代码:import osfrom mlflow import log_metric,log_param,log_artifactif __name__ == '__main__': log_param("sim param",5) log_metric("foo",..
2021-09-09 17:20:02 1004 2
原创 selenium循环打开多个网页导致内存耗尽的解决办法
近几天使用了Selenium模拟打开浏览器获取网页数据,因为需要打开多个网页所以采用的是for循环的方式,随着程序的运行时间越来越久,发现内存占用越来越多。原来的代码大体如下:
2021-09-09 14:23:21 3921 3
原创 Ubuntu的backspace、上下左右箭头失效的解决办法
重装ncurses-base后重启终端即可。输入命令:sudo apt install ncurses-base
2021-07-08 11:10:32 1344
原创 python程序 自动启动运行并防止启动两个以上进程
汗,近期需要运行一个python程序,但是受限于网络环境等具体因素,会偶尔中断崩溃。希望在程序中断运行之后,自动重新启动,所以采用的是crontab机制:*/5 * * * * python3 /test.py > /test.log上述命令表示每五分钟执行一次 python3 /test.py > test.log 命令。但是与此同时,也不希望同时运行两个python3 /test.py命令。因此需要在源代码里面进行判断:import psutilimport sys.
2021-06-26 18:45:53 1439
原创 mysql用户口令中含有特殊字符@的情况下,如何正确链接数据库
dbConnect=create_engine(f'mysql+pymysql://{userName}:{urlquote(password)}@{dbHost}:{dbPort}/{dbName}?charset=utf8')
2021-06-21 15:45:44 6419 1
原创 Prometheus中如何查询所有的度量名称(metrics names)?
Prometheus自带了Promql查询语言,可以查询丰富的数据内容。笔者近期才开始接触Promql,相当于是这方面的菜鸟中的菜鸟,很想知道Prometheus采集的时序序列数据中,有哪些度量
2021-05-28 15:16:57 5352
原创 Prometheus常用的exporter列表
原创文章, 欢迎转载(但需注明出处:https://blog.csdn.net/booklijian/article/details/116491288)Prometheus针对不同类型的数据采用不同的exporter程序,现简单罗列如下:Linux类操作系统相关数据的采集程序node_exporter https://github.com/prometheus/node_exporterSNMP类采集程序 snmp_exporterhttps://github.com/prometh...
2021-05-07 14:54:27 2653
原创 Ubuntu20.04 系统中设置dns并生效
原创文章, 欢迎转载(但需注明出处:https://mp.csdn.net/editor/html/116272306)如题,Ubuntu 20.04 LTS 版本安装之后,发现偶尔报错 Temporary failure in name resolution,搜索一番之后大部分意见认为是系统的DNS设置不全面,建议重新设置一下DNS。按照网上的文章,直接修改的是/etc/resolv.conf ,原文内容如下:nameserver 127.0.0.53options edns0 tr...
2021-05-07 14:03:58 28349 12
原创 Ubuntu20.04 系统中安装vncserver----新方法,更好用
原创文章, 欢迎转载(但需注明出处:https://mp.csdn.net/editor/html/116272306)如标题所示,此前本人曾经写过一篇类似的文章,《Ubuntu 20.04系统中安装vncserver》,但是该方法安装的vncserver模式总是有点不太习惯,毕竟不是gnome风格的。所以此处介绍一种更好的方法,目前一切使用正常。 apt-get install gnome-session-flashback根据提示可能还需要安装gnome-terminal、nautilus
2021-04-29 16:52:59 1965 1
原创 Thanos部署运行过程中,报错context deadline exceeded,具体解决办法
如题,笔者近期部署使用了Thanos,并且采用的是receive模式,采用了多个receive节点,结果运行的时候发现报错了,具体信息如下:level=error ts=2021-02-01T02:46:59.386889118Z caller=handler.go:330 component=receive component=receive-handler err="context deadline exceeded" msg="internal server error"level=erro.
2021-04-27 16:23:09 23162
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人