xinming_365-CSDN博客

原创 os课程记录

操作系统的系统调用应用程序是可执行文件（程序的二进制代码和数据）和其他数据文件，linux支持多种可执行文件格式，ELF(Executable Linkable Format)是最常用的格式。关于ELF二进制文件，它是操作系统的一个对象，操作系统提供API打开，读取，改写对应文件，可以使用vim，cat，xxd等命令查看这个可执行文件。查看ELF二进制文件。vi /bin/ls解析二进制文件。主要关注文件的header，包括文件内容的分布，指令集体系的结构，入口地址。readelf -h查

2022-02-27 22:23:37 389 1

原创图像旋转90度。

题目描述给定一个 n × n 的二维矩阵 matrix 表示一个图像。请你将图像顺时针旋转 90 度。你必须在原地旋转图像，这意味着你需要直接修改输入的二维矩阵。请不要使用另一个矩阵来旋转图像。题解这个题目搞了一个多小时。思路已经想好了难在两个循环的次数上。我的思路跟官方的不太一样。因为需要原地转换，所以只能想到交换。注意交换规则是matrix[row][col]=matrix[col][n−row−1]matrix[row][col] =matrix[col][n-row-1]matri

2022-01-18 19:06:03 736

原创 torch-geometric的安装

torch-geometric 的安装。torch-geometric的安装必须要求版本对应，否则会出现很多麻烦的问题。比如：OSError: [WinError 127] 找不到指定的程序。所以安装之前，仔细检查一下cuda版本，pytorch的版本等等。此外，还要注意电脑安装的CUDA驱动和pytorch 中对CUDA支持包的版本是否对应，不对应同样会出错。# cuda是否可用，不必要。python -c "import torch; print(torch.cuda.is_availa

2021-11-26 14:15:31 3449

原创 SchNet+attention代码阅读记录

阅读SchNet的过程中，关于一些变量的定义和含义总是忘记，下面做一下记录和整理。class SchNet(torch.nn.Module): def __init__(self, hidden_channels, num_filters, num_interactions, num_gaussians, cutoff, readout='add', dipole, mean, std, atomref): super(SchNet, self).__init__() ... d

2021-09-15 17:23:50 1323

原创 latex跨行跨列表格

使用revtex模板的跨行跨列表格时候不需要使用\usepackage{booktabs},否则midrule，toprule这些线条不能够正常显示。因此需要使用自带的线条。下面记录一下我试用过的跨行跨列表格latex语法 \begin{table}[hb] \centering \caption{ \label{cutoff} nothing } \begin{ruledtabular} \begin{tabular}{c*{10}{c} }

2021-08-11 16:58:39 3266

原创 mac安装 pytorch geometric

官方安装教程地址：https://pytorch-geometric.readthedocs.io/en/latest/notes/installation.html使用pip安装，mac不能使用cuda，所以使用下面的命令：pip install torch-sparselatest+cpu -f https://pytorch-geometric.com/whl/torch-1.6.0.htmlpip install torch-clusterlatest+cpu -f https://pyto

2021-05-15 15:40:59 694

原创 linux网络连接问题诊断

ethtoolethtool是linux的网络驱动程序的诊断和调整工具，可获取网络设备的相关信息，包括连接状态、驱动版本、PCI 总线定位等等。ethtool 是用于查询及设置网卡参数的命令。使用方式：ethtool ethx //查询ethx网口基本设置，其中 x 是对应网卡的编号，如eth0、eth1等等ethtool –h //显示ethtool的命令帮助(help)ethtool –i ethX //查询ethX网口的相关信息 ethtool –d et

2021-05-14 22:32:33 2734 1

原创 AdelaiDet 安装报错

python tools/train_net.py –config-file configs/FCOS-Detection/R_50_1x.yaml –eval-only –num-gpus 2 OUTPUT_DIR training_dir/fcos_R_50_1x MODEL.WEIGHTS training_dir/fcos_R_50_1x/fcos_R_50_1x.pthFile “/home/xxx/AdelaiDet/adet/layers/bezier_align.py”, lin

2021-04-28 21:15:00 1720

原创 linux 命令

lspci显示所有的pci设备信息。通过pci总线连接的设备都可以显示，例如网卡，存储等等。lspci：显示所有的pci设备信息，包括设备的BDF，设备类型，厂商信息。lspci -n/-nn：显示设备的vendor厂商号和device设备号；显示厂商等信息和名称。lspci -b：以总线的角度来显示所有的IRQ和地址。根据我的观察，大部分信息和不带参数时显示一致，除了SR-IOV设备分配出的Virtual Function设备。如下示例：物理网卡PF（physical function ）显示一直

2021-03-11 15:09:37 623

原创 gnuplot使用简介

GnuplotGnuplot 是一款科学作图软件，官方网站是 http://www.gnuplot.info/。使用建立程序文件（file.gnu)set term png color enh solidset logscale xset xlabel 'L (nm)'set ylabel "Cumulative kappa (W/mK)"set output "cumulative_300K_kappa.png"plot "cumulative_300K.dat" using 1:2 w

2020-12-07 20:56:03 1871

原创 python 处理xml文件

XML可扩展标记语言（eXtensible Markup Language），被设计用来传输和存储数据。<?xml version="1.0" encoding="UTF-8"?><note> <to>Tove</to> <from>Jani</from> <heading>Reminder</heading> <body>Don't forget me this weekend!

2020-10-13 00:12:59 1770 1

原创 python的并行计算

pool模块pool类能够提供指定数量的进程，供用户调用。当有新的请求提交到pool中时，如果池还没有满，就会创建一个新的进程来执行请求。如果池满，请求就会告知先等待，知道池中有进程借书，才会创建新的进程来执行这些请求。apply()-该函数用于传递不定参数，同python中的apply函数一致，主进程会被阻塞知道函数执行结束。3.x之后不再出现map()map(func, iterable[, chunksize=None])Pool类中的map方法，与内置的map函数用法基本一致，它

2020-10-07 21:40:07 580

原创迁移学习

按照学习方法可以将迁移学习分为下面的几大类基于样本的迁移学习基于特征的迁移学习假设源域和目标域的特征不在一个空间。通过一些办法变换到一个特征空间，从而特征变得相似基于模型（参数）的迁移学习神经网络的结构可以直接迁移，例如finetune，就是模型参数迁移基于关系的迁移学习迁移学习的问题，有两个基本的概念：领域（Domain）和任务（Task）领域是进行学习的主题，包括数据和生成这些数据的概率分布。D表示domain，P表示概率分布迁移过程，涉及到源域（source d

2020-10-07 12:59:34 806

原创分类问题的metrics

评价分类模型基本上都会用到下面几个基本的术语。我们假设这是一个二分类的问题。分类目标只有两类，被称为正例(positive) 和负例（negative)。在预测问题中，会存在下面几个术语描述相关的结果。1）True positives(TP): 被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数（样本数）；2）False positives(FP): 被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；3）False negatives(FN):被错误地划分为负例的个

2020-09-30 16:48:09 572

原创 yaml使用

yaml简介最近看代码，觉得大的工程都会使用单独使用配置文件，进行变量的声明和配置，而很多都是以yaml文件的形式保存。yaml是一种非常灵活的格式，几乎是json的超集。除了支持注释、换行符分隔、多行字符串、裸字符串和更灵活的类型系统之外，YAML 也支持引用文件，以避免重复代码。yaml语法规则基本规则：大小写敏感使用缩紧表示层级关系；例如key:(空格）value，表示一个键值对，空格不可以省略。缩进时不允许使用Tab键，只允许使用空格缩紧的空格树木不重要，只要相同层级的元素左侧对齐

2020-09-03 18:00:59 266

原创 Docker核心组件 + docker daemon配置

Docker Daemon是docker架构中运行在后台的守护进程，可以分为docker Server, Engine和Job三部分。Docker DaemonDocker Daemon通过Docker server模块接受docekr clinet的请求，并在Engine中处理请求，然后根据请求类型，创建出指定的Job并运行。运行过程的作用有下面几种：从docker registry中获取镜像通过grahdriver执行容器镜像的本地化操作通过networkdriver执行容器网络环境配置

2020-09-02 10:52:29 926

原创 argparse模块

使用argparse的第一步是先创建一个ArgumentParser对象，ArgumentParser对象包含了将命令行解析成为Python数据类型所需要的全部信息。创建过程如下：parser = argparse.ArgumentParser(description=‘Process some integers.’)位置参数和可选参数位置参数在学习argparse模块的时候，搞清楚命令行位置参数和可选参数这两个概念十分有必要。基于位置的参数，参数的出现不需要前缀（以 - 或 – 开头的），而且

2020-08-25 15:29:09 330

原创 nvidia-smi &nvidia-docker

nvidia-sminvidia-smi是nvidia 的系统管理界面，其中smi是System management interface的缩写，它可以收集各种级别的信息，查看显存使用情况。此外, 可以启用和禁用 GPU 配置选项 (如 ECC 内存功能)。

2020-08-19 15:13:17 1054

原创 Python函数的特殊属性

Python 的函数特殊属性__doc__用于获取函数的文档说明，如果没有，则反悔None。__name__获取函数的名称例如：In [72]: def demo(a:3,b:'str') -> int: ...: return aIn [77]: demo.__name__Out[77]: 'demo'__qualname__获取函数的qualname，点示法显示函数名称、所在的类、模块等梯级地址。__module__返回函数所在的模块，如果无则返回None

2020-08-11 15:40:05 665

原创 mask R-CNN

语义分割（semantic segmentation），实例分割（instance segmentation）联系：语义分割和实例分割都是目标分割中的两个小的领域，都是对输入的图片做分割处理。区别：通常意义上的目标分割指的是语义分割，语义分割已经有很长的发展历史，已经取得了很好地进展，目前有很多的学者在做这方面的研究。实例分割是一个从目标分割领域独立出来的一个小领域，是最近几年才发展起来的。实例分割比语义分割更复杂，需要在语义分割的基础上对同类物体进行更精细的分割。Mask R-CNN的架构Mask

2020-08-06 16:20:45 847

原创 torchvision库简介

torchvision库torchvision是独立于pytorch的关于图像操作的一些方便工具库。torchvision的详细介绍在：https://pypi.org/project/torchvision/torchvision主要包括一下几个包：vision.datasets : 几个常用视觉数据集，可以下载和加载，这里主要的高级用法就是可以看源码如何自己写自己的Dataset的子类vision.models : 流行的模型，例如 AlexNet, VGG, ResNet 和 Densen

2020-08-04 16:14:06 2399

原创 pytorch计算图

Pytorch中的神经网络pytorch的计算图pytorch是动态图机制，所以在训练模型的时候，每迭代一次都会构建一个新的计算图。而计算图代表着程序中变量之间的关系。y=(a+b)(b+c)y=(a+b)(b+c)y=(a+b)(b+c)在这个运算过程就会建立一个如下的计算图。在这个计算图中，叶子节点(leaf_node)就是参与运算的变量。这个图里面只有a，b，c是leaf_node。之所以要关注leaf_node，因为计算网络在反向传播的时候，需要根据链式求导法则求出网络最后输出的梯度，然后再对网

2020-07-30 16:09:22 6141 1

原创 opencv处理图像

imread函数imread python原型retval = cv.imread( filename[, flags] )imread函数需要两个参数，一个是图片文件名（相对路径或者绝对路径都可以），另一个是flags读取标记，选取读图的方式，默认值为IMREAD_COLOR，flag的设定与用什么颜色格式读取有关。目前，支持下面的格式：Windows bitmaps - *.bmp, *.dib (always supported)JPEG files - *.jpeg, *.jpg,

2020-07-30 14:46:51 261

原创 pytorch分布式训练

torch.distributed 包支持Pytorch 中通过 torch.distributed 包提供分布式支持，包括 GPU 和 CPU 的分布式训练支持。Pytorch 分布式目前只支持 Linux。在此之前，torch.nn.DataParallel 已经提供数据并行的支持，但是其不支持多机分布式训练，且底层实现相较于 distributed 的接口，有些许不足。torch.distributed 的优势如下：每个进程对应一个独立的训练过程，且只对梯度等少量数据进行信息交换。在每次迭代

2020-07-29 16:40:11 843

原创 EAST模型分析

EAST流程EAST做文本检测只需要两步：先是一个全卷积的网络直接产生一个字符或者文本行的预测（可以是旋转的矩形或者不规则四边形），然后通过NMS（Non-Maximum Suppression）算法合并最后的结果。下图是EAST的pipeline。第一个阶段是基于全卷积网络（FCN）模型，直接产生文本框预测；第二个阶段是对生成的文本预测框（可以是旋转矩形或矩形）经过非极大值抑制以产生最终结果。该模型放弃了不必要的中间步骤，进行端到端的训练和优化。EAST 网络结构EAST网络是一个全卷积网络，主要

2020-07-28 17:17:03 3164

原创谱聚类简介

相似图构造k-近邻图ϵ\epsilonϵ近邻图未标准化拉普拉斯矩阵标准化拉普拉斯矩阵拉普拉斯矩阵的性质Laplacian矩阵L，有下面几个性质：(a)(b) L是对称的和半正定的。w和D矩阵都是对称矩阵，所以L是对称矩阵。©谱聚类算法计算L的前k个特征向量u1,...,uku_1,...,u_ku1,...,uk(1)List item令U∈Rn×kU \in R^{n\times k}U∈Rn×k为以前k个特征向量u1,...,uku_1,...,u_ku1,..

2020-05-21 23:48:23 1169

原创多进程multiprocessing模块

介绍multiprocessing 是一个用于产生进程的包，具有与 threading 模块相似API。 multiprocessing 包同时提供本地和远程并发，使用子进程代替线程，有效避免 Global Interpreter Lock 带来的影响。因此， multiprocessing 模块允许程序员充分利用机器上的多核。可运行于 Unix 和 Windows 。Unix/Linux实现多进程Unix/Linux操作系统提供了一个fork()系统调用，它非常特殊。普通的函数调用，调用一次，返

2020-05-10 01:58:08 711

空空如也

空空如也