- 博客(34)
- 收藏
- 关注
RSS订阅原创 注意力机制的学习笔记
引言注意力机制（Attention Mechanism）是在机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的权重，通俗来讲，就是从关注全部到关注重点。比如，我们的视觉系统就是一种attention mechanism，将有限的注意力集中在重点信息上，达到节省资源、快速获得有效信息的目的。AI领域中attention mechanism的位置，或者说是宏观上的包含关系如下：NLP >--> BERT、GPT >--> Transformer &g
2021-05-31 15:37:26
669
原创 《机器学习实战》的学习笔记之KNN
这里是《机器学习实战》中第二章KNN的代码部分解释。KNN最常用的是欧式距离，它没有训练过程，直接就是分类常用的向量距离度量准则：欧式距离、曼哈顿距离、切比雪夫距离、马氏距离、巴氏距离、汉明距离、皮尔逊系数、信息熵，部分相关公式与python代码见：https://blog.csdn.net/weixin_43330946/article/details/105032182优点...
2020-03-24 20:30:34
311
原创 常用的向量距离公式
目录1、欧式距离2、曼哈顿距离3、切比雪夫距离4、马氏距离1、欧式距离欧几里得度量（educlidean metric），指在m维空间中两点之间的真实距离，或者向量的自然长度，即该点到原点的距离。import numpy as npdist = np.sqrt(np.sum(np.square(x-y)))#或者from scipy.spatial....
2020-03-22 18:53:27
21851
原创 python中seed的相关代码
主要记录的是神经网络使用python中常用的seed的代码。import randomimport numpy as npimport torch#a只是表示一个超参数而已#seed()中没有参数时，每次生成的随机数不同；有参数时，每次生成的随机数是一样的random.seed(a)#每次生成的随机数相同，对后面的结果一直有影响np.random.seed(a)#为C...
2020-01-08 14:30:44
419
原创 用Python中os.path输出文件路径、绝对路径
Python中经常用os.path.dirname(__file__)、os.path.abspath(__file__)、os.path.join()输出和加载文件路径。os.path.dirname(__file__) 返回的是.py文件的目录。os.path.abspath(__file__) 返回的是.py文件的绝对路径，也就是完整路径。os.path.join() 路径拼接。...
2020-01-07 14:05:38
6582
原创 Linux系统中常用于查看版本信息的指令
查看版本信息常用指令：-V 与 --v (ersion)等价。持续更新······查看conda版本：conda -V补充：利用conda创建虚拟环境：conda create -n test#test是自己设置的虚拟环境名字#进入虚拟环境conda activate test#退出虚拟环境conda deactivate补充：创建conda的清...
2019-12-16 20:01:53
324
原创 GCN之形成标准化邻接矩阵
GCN中一个重要的矩阵是邻接矩阵，其中一个重要操作步骤是邻接矩阵标准化，这里介绍两种建立标准化邻接矩阵。import torchimport numpy as npimpoer scipy.sparse as spdef normalize_adj(adj): adj = adj.to_dense().cpu().numpy() adj = sp.coo_mat...
2019-12-07 09:37:26
8968
6
原创 Python中sys常见的模块用法详解
sys是一个和Python解释器关系密切的标准库，它帮助我们访问和Python解释器联系紧密的变量和函数。sys的官方解释：https://docs.python.org/3/library/sys.html其中，sys模块常用的变量和函数及其功能见下表：sys成员（变量和函数） 功能描述 sy.argv 获取运行Python程序的命令行参数。其中sys.argv...
2019-12-06 15:20:55
2822
原创 GCN之利用numpy增加自环、特征归一化
GCN是一种可直接作用于图并利用其结构信息的强大神经网络。即使是随机初始化的两层GCN也可以生成图网络中节点的有用特征表征。使用numpy编写一个有向的邻接矩阵：import numpy as npA = np.matrix([ [0, 1, 0, 0], [0, 0, 1, 1], [0, 1, 0, 0], [1, 0, 1, 0]], ...
2019-12-05 11:08:49
2900
1
原创 用python构建2D坐标矩阵
用python构建一个范围为[0,1]的2D坐标矩阵。也适用于将图片转换成2D的网格型数据，进而转换成坐标矩阵。如果是图片，要先将图片转换成网格型数据：import numpy as npcol, row = np.meshgrid(np.arange(img_size),np.arange(img_size))PS:如果不是图片类型的数据，直接将img_size替换成需要的坐...
2019-11-25 16:37:16
2410
原创 merge函数与subset函数的使用
1.merge函数是从两个数据框中选择出条件相等得行组合成一个新得数据框df1 = data.frame(name=c('aa','bb','cc'),age=c(10,20,30),sex=c('f','m','f'))df2 = data.frame(name=c('aa','bb','dd'),age=c(40,50,60),sex=c('f','m','f'))mergedf =...
2019-11-25 09:59:23
1171
原创 GNN之GCN基础理论推导
图卷积graph convolutional network，简称GCN，最近几年大热，取得不少进展。清华大学孙茂松教授组发布了Graph Neural Networks: A Review of Methods and Application，对现有的GNN模型做了详尽且全面的综述。针对GCN中需要的基础理论知识，这里给出数学推导，方便理解。一、什么是ConvolutionCon...
2019-10-31 14:19:32
1440
原创 GNN之GCN之谱图卷积
Thomas N.Kipf et.al. 在论文《Semi-Supervised Classification with Graph Convolutional Networks》中提到：从本质上说，GCN是谱图卷积的一阶局部近似。那么，什么是谱图卷积呢？首先，来看图上的谱卷积。图上的谱卷积可以定义为：信号 与滤波器 在傅里叶域的乘积：,其中， 为归一化拉普拉斯 的特...
2019-10-29 21:13:42
2351
原创 GNN之常用矩阵汇总
最近在看图卷积网络(graph convolutional networks)，其中有一些基础知识，比如：表示一个图，分别表示相应的节点集与边集。表示图中的节点，表示图中的边。 A表示图中的邻接矩阵(adjacency matrix)。 D表示图中的度矩阵(degree matrix)。 L表示图中的拉普拉斯矩阵(Laplacian matrix)，表示图的归一化拉普拉斯矩阵。会有许多...
2019-10-29 19:33:10
4106
1
原创 深度学习中torch.nn中常用的类以及torch中其它常用的类
Pytorch中神经网络模块化结构nn的了解——慢慢补充torch.nn是专门为神经网络设计的模块化接口，nn构建与autograd之上，可以用来定义和运行神经网络。torch.nn.parameter在深度学习的模型中，常见这样的语句：#method 1import torchself.bias = torch.nn.parameter(torch.FloatTens...
2019-10-24 15:54:28
961
原创 用python读取图像中非零点的像素（读取图片中目标的尺寸大小）
代码主要用于读取图片中非零像素点的像素值比如，读取下面图片中绿点的像素值代码如下：from PIL import Imageimport numpy as npimage = Image.open('./image.png') #图片的路径a, b = image.size #获得图像的长、宽for i in r...
2019-09-18 20:37:09
3858
原创 深度学习中的调参经验
调参其实就是trial-and-error，没有其他捷径可以走。快速尝试, 快速纠错这是调参的关键。目录常用的调参经验：自动调参方法：这是一个很好的链接, 说明了如何从零开始不断的trial-and-error(其实这里面没遇到什么error):Using convolutional neural nets to detect facial keypoints tutorial...
2019-08-10 18:14:57
931
原创 读取nii或nii.gz文件中的信息即输出图像
读取nii或者nii.gz文件中的信息，并且输出图像。import matplotlibfrom matplotlib import pylab as pltimport nibabel as nibfrom nibabel.viewers import OrthoSlicer3Dfile = '' #你的nii或者nii.gz文件路径img = nib.load(file...
2019-06-12 15:31:48
11869
7
原创 深度学习模型的数据读取(python+torch.utils.data.Dataset)
在用python编写CNN、UNet、VGG等模型时，需要先对数据集进行处理，即先读取image和label并进行预处理（比如设置图像大小等）。在这之前已经将BraTS2018的nii格式文件保存为png格式：https://blog.csdn.net/weixin_43330946/article/details/89576759下面的代码是我最近写UNet用于分割BraTS2018...
2019-06-05 20:20:44
3407
3
原创 python中的基础知识
目录一、变量二、字符串三、原始字符串四、长字符串五、数据类型1、整型2、浮点型3、布尔类型4、类型转换5、获得关于类型的信息六、常用操作符1、算术操作符2、优先级问题3、比较操作符4、逻辑操作符一、变量把一个值赋给一个名字时，它会存储在内存中，把这块内存成为变量（variable）。x = 3x = 5y = 8z =...
2019-05-31 09:12:20
207
原创 神经网络中的偏差与方差，及其解决方法
这里假设所用的分类器是最优分类器，而且训练集、验证集、测试集均属于同一分布。偏差与方差主要与两个因素有关：训练集误差（train set error）、验证集误差（dev set error）train set error 1%（很小） 15%（较大） 15% 0.5% dev set error 11%（较大） 16%（较大，但相较于train...
2019-05-17 20:09:02
5321
原创 在python中记录运行的时间
导入时间函数timeimport timetime_begin = time.time()#code,你的程序time_end = time.time()time = time_end - time_beginprint('time:', time)
2019-05-07 11:03:10
10628
3
原创 将文件夹内的文件名称保存为npy格式
读取文件夹中所有的文件，并且将所有文件名保存为npy格式：import osimport numpy as nprootdir = '' #文件夹的路径a = os.listdir(rootdir) #读取文件夹中的目录文件#print(a)np.save('.npy', a) #将目录保存为npy格式...
2019-05-01 16:30:00
971
原创 python随机将文件里的（npy格式）文件分为两个文件夹
有时会将数据集随机提取一部分进行训练。以下的代码不仅可以将文件夹内的文件随机分为两份，也可以随机分为不同的文件夹，文件夹内的文件也可以不同。import osimport numpy as npimport shutil#from sklearn.utils import shufflerootdir = '' #源数据集图像的文件夹的路径rootdir1 = '' ...
2019-05-01 15:42:31
1497
原创 torch.utils.data
python中import torch.utils.data import Dataset通常会有三个函数：def __init__(self):def __len__(self):def __getitem__(self,index):其中def __init__()常用，就是初始化。不需要返回值。def __len__(self): 是用来获取数据集的长度。需...
2019-04-27 10:20:58
1637
原创 python文件追踪（可用于ADNI数据集将多个文件夹下的nii改名后保存）
写这篇文件追踪的原因主要是：下载了ADNI数据集后，nii文件是在5个文件夹下，不能直接用nii转png的代码（代码见下面链接），所以需要先将nii文件保存到同一个文件夹下。批量nii转png：https://blog.csdn.net/weixin_43330946/article/details/89576759同时要将nii文件改名（下载下来的nii文件名字比较长）：比如都改成0...
2019-04-27 09:25:45
1010
1
原创 批量nii文件转换成png格式（用于处理胰腺数据）
这篇博客代码在胰腺数据中可以用，但是用于ADNI数据保存的图像都是噪声，不能用。下面的链接是用于ADNI数据集的代码，个人觉得还是下面链接中的代码稍微好用些，因为不会报错：https://blog.csdn.net/weixin_43330946/article/details/89576759from PIL import Imageimport numpy as npimpo...
2019-04-27 08:55:07
3170
3
原创 批量nii文件转换为png图像
之前介绍过单个nii文件转换成png图像：https://blog.csdn.net/weixin_43330946/article/details/89501865这里介绍将多个nii文件（保存在一个文件夹下）转换成png图像。且图像单个文件夹的名称与nii名字相同。import numpy as npimport os #遍历文件夹import ...
2019-04-26 21:17:08
15708
45
原创 python中isinstance()、raise函数
isinstance判断某个对象是否属于某个类。比如：if isinstance(object, classinfo):如果object是classinfo的实例或者是classinfo类的子类的实例，返回True。还有一种判断类的命令：raise比如 ：if type(resize) != np.ndarray: raise "type error!"...
2019-04-26 16:21:20
876
原创 python内置函数init、call、new、del
__init__(self[,...])编写神经网络的时候常用。创建一个类的实例。可以看作是类的构造器。__init__()的返回值一定是None，不能是其他，否则会报错。一般需要进行初始化的时候才重写。__new__(cls[,...])__new__()其实才是在一个对象实例化的时候所调用的第一个方法，但平时很少重写，一般按照python默认的方案执行就可以了。__...
2019-04-26 16:06:08
389
原创 nii图像保存成png格式（Ubuntu+python）
这里介绍一个nii文件保存为png格式的方法。这篇文章是介绍多个nii文件保存为png格式的方法：https://blog.csdn.net/weixin_43330946/article/details/89576759系统：Ubuntu 16.04软件： python 3.5先用pip安装nibabel、numpy、imageio、os。import nibabel ...
2019-04-24 20:26:44
5597
9
原创 Ubuntu系统下安装CUDA9.0
本文档是安装CUDA9.0的deb版本。是本人今天晚上刚刚安装上CUDA9.0后总结的，亲测有效。下载链接：https://developer.nvidia.com/cuda-toolkit-archive首先，在终端（ctri+alt+T）输入nvidia-settings查看驱动是否是nvidia。如果是直接进行分界线下面的内容。如果不是，就在system setting...
2019-04-19 20:44:59
580
转载 特征工程之特征选择
前言转自微信：刘建平《特征工程之特征选择》地址：https://www.cnblogs.com/pinard/p/9032759.html特征工程是数据分析中最耗时间和精力的一部分工作，它不像算法和模型那样是确定的步骤，更多是工程上的经验和权衡。因此没有统一的方法。这里只是对一些常用的方法做一个总结。本文关注于特征选择部分。后面还有两篇会关注于特征表达和特征预处理。目...
2019-03-13 09:43:08
199
原创 LATEX中常用的插图和插表格的方法
LaTex清华源下载地址：https://mirrors.tuna.tsinghua.edu.cn/CTAN/systems/texlive/Images/前言不管是插图还是查表格，要先调用宏包（所有宏包都放在\documentclass{article}后面）：\usepackage[cite]\usepackage{booktabs} %插表格用的宏包\...
2019-03-06 21:23:35
10583
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人