自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

hello world

explore the secret of data as a coder

  • 博客(5)
  • 收藏
  • 关注

原创 内存:VSS/RSS/PSS/USS区别和监控

软件开发的最后阶段就是测试,了解软件整体的cpu和mem使用情况,之前一直用ps来确定cpu使用率和rss内存,最近监控python多进程软件时,累积rss竟然超过了节点物理内存126G,原因在此处梳理下。先说结论:一般情况下有:VSS >= RSS >= PSS >= USS。VSS - Virtual Set Size 虚拟耗用内存(包含共享库占用的内存)RSS - R...

2021-10-26 15:34:32 1529

原创 set -e导致脚本退出的情况

本来不加set什么事儿都没有(已测试结果无误),加上set -e后就出来问题了:read_len计算结果为94set -e正常情况下set -eread_len=`zcat demo.fq.gz | head -n 2 | tail -1 | wc -L`# || echo "read len"echo "---"echo $read_lentri_len=`expr $r...

2020-12-08 14:39:31 206 1

原创 使用readthedocs+github+sphinx+reST构建文档

安装pip install --user sphinx sphinx-autobuild sphinx_rtd_themeread the docssphinx使用手册参考:如何用 ReadtheDocs、Sphinx 快速搭建写书环境

2020-09-24 10:55:04 334

原创 CPU、并行、

CPU型号查看个数lscpu确认,该机子如下:4颗物理CPU #sockets每颗是10核 #cores per socket每个核支持2线程 #threads per core总共80个物理CPU,也就是80个线程(4102)参考:linux下怎么查看cpu核数...

2020-08-26 16:12:42 197

原创 网络爬虫:魔道祖师小说

好奇总被人提及的网络爬虫到底是什么技术,于是也想用,我的需求是可以下载小说、文献摘要、还有各种生信数据库的网站抓取等,先拿我喜欢的魔道祖师小说来练手。如果懂点HTML/CSS/JS的话,基于网页的标签去读取识别,很简单了,直接上代码:class downloader(object): def __init__(self): self.server = 'http://...

2020-08-06 14:30:44 397

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除