- 博客(20)
- 收藏
- 关注
RSS订阅原创 Airflow调度
eg：每天 8：40 ，12：40 ， 16：40 ，20：40 每隔4小时执行。eg：执行的时间分别为8：40 ，13：40 ， 17：40。
2024-01-31 11:19:06
172
1
原创 Hive优化学习
一般情况下,我们写SQL是有一部分的SQL是只会用到表中的部分的列，并不是要全部的列。这种场景下，就可以只加载用到的列即可。不用到的不去加载（必须是列式存储）。概念：尽量减少在读取的时候读取的数据量的大小。1.ORC存储（列存储）2.查询只用到的部分的列。
2024-01-30 11:03:00
223
1
转载 自己遇到的小问题们
1.不能将cuda:0设备类型张量转换为numpy。首先使用tensor .cpu()将张量复制到主机内Cannot convert cudA :0 device type tensor to NUMpy. The tensor is first copied into the host using tensor.CPU ()解决:先调用cpu()再调用numpy()，比如 target.cpu().numpy()2.Matplotlib.pyplot 颜色展示‘b’ 蓝色‘g’ 绿色‘r’
2021-12-20 22:48:06
551
原创 python中的 [1:-1] 就是去除首尾吧？
>>> import numpy as np>>> a = np.random.rand(5)>>> print(a)[0.90927076 0.73726971 0.14382335 0.9155831 0.91208005]>>> print(a[1:-1])[0.73726971 0.14382335 0.9155831 ]>>> a = np.random.rand(10)>>&g
2021-12-05 21:16:10
3508
转载 github上各个文件的意思
从豆瓣上看到的 https://www.douban.com/group/topic/208337050/整合评论1对于github上的代码，通常看readme.md就能知道它的作用和使用方法，doc通常是进一步的详细文档，src通常是真正的源码（不过图中没有按这种命名方式哈哈，真正的源码在econml文件夹里）；notebook… 如果你有安装juputer的话就可以看里边的内容了，通常是些实验结果演示，跟源码无关；prototypes没见过；monre_carlo_test里是用蒙特卡洛方法去模拟一
2021-08-23 20:26:21
6050
原创 深度学习相关概念知识链接（自用
腾讯云作者：本立2道生网络权重初始化方法总结（上）：梯度消失、梯度爆炸与不良的初始化https://cloud.tencent.com/developer/article/1535198网络权重初始化方法总结（下）：Lecun、Xavier与He Kaiminghttps://cloud.tencent.com/developer/article/1542736为什么要做特征归一化/标准化？https://cloud.tencent.com/developer/article/1531996B
2021-07-04 17:14:15
70
原创 翻译：Graph CNN for Survival Analysis on Whole Slide Pathological Images
Graph CNN for Survival Analysis on Whole Slide Pathological Images全载玻片病理图像生存分析的图形神经网络摘要: 深度神经网络通过提供高质量的特征而被用于生存预测。然而，很少有人注意到整体切片病理图像拓扑特征的重要作用(WSI)。在WSIs上学习拓扑特征需要密集的计算。此外，无线传感器网络的最优拓扑表示仍然是模糊的。此外，如何在生存预测中充分利用WSI的拓扑特征是一个有待解决的问题。因此，我们建议将WSI建模为图，然后开发具有注意力学习的图
2021-06-16 09:09:51
821
原创 矩阵归一化、标准化、中心化/零均值化
归一化 （Normalization）把数据变成（0，1）或者（1，1）之间的小数。经过变换，化为无量纲的表达式，成为纯量。标准化 （Standardization）标准化后会使每个特征中的数值平均变为0(将每个特征的值都减掉原始资料中该特征的平均)、标准差变为1中心化/零均值化 （Zero-centered）平均值为0，对标准差无要求归一化和标准化的区别：归一化是将样本的特征值转换到同一量纲下把数据映射到[0,1]或者[-1, 1]区间内，仅由变量的极值决定，因区间放缩法是归一化的一种。标准.
2021-05-31 22:32:31
13074
原创 PyCharm快捷键
PyCharm进行批量注释和取消批量注释1.批量注释：选择要注释的文本行, 背景变化后，同时按Ctrl+/2.取消批量注释： 选择已注释的文本行，背景变化后，同时按Ctrl+/3.批量缩进：选择要缩进的文本行, 背景变化后，按下TAB键4.取消批量缩进：选择要缩进的文本行, 背景变化后，按下SHIFT+TAB键5.运行Run： shift+F10...
2021-05-25 13:56:04
70
原创 创建自己的数据集 InMemoryDataset
创建自己的数据集https://pytorch-geometric.readthedocs.io/en/latest/notes/create_dataset.html按照torchvision约定，每个数据集都会传递一个根文件夹，该根文件夹指示应将数据集存储在何处。我们将根文件夹分为两个文件夹：raw_dir，将数据集下载到，和processed_dir，将处理后的数据集保存在。torch_geometric.data.InMemoryDataset.process()在这里，我们需要阅读并创建D
2021-05-25 09:08:10
824
原创 python调试相关
使用 pdb 进行调试pdb 是 python 自带的一个包，为 python 程序提供了一种交互的源代码调试功能，主要特性包括设置断点、单步调试、进入函数调试、查看当前代码、查看栈片段、动态改变变量的值等。pdb 提供了一些常用的调试命令https://www.cnblogs.com/rwxwsblog/p/4605309.htmlpdb.set_trace() 程序运行到这里就会暂停利用mobatexterm和pycharm远程调试...
2021-05-24 21:22:52
77
原创 GCN最简单的实现
https://pytorch-geometric.readthedocs.io/en/latest/notes/introduction.htmlGCN最简单的实现PyTorch Geometric中的一个图由的实例描述torch_geometric.data.Datadata.x：具有形状的节点特征矩阵 [num_nodes, num_node_features]data.edge_index：具有形状和类型的COO格式的图形连接[2, num_edges]torch.longdata.edg
2021-05-24 20:08:19
234
原创 TUDataset: A collection of benchmark datasets for learning with graphs
TUDataset: A collection of benchmark datasets for learning with graphsGitHub：https://github.com/chrsmrrs/tudataset2.TUDATASET集合包含www.graphlearning.io上提供的120多个数据集。2.1 DatasetsSmall molecules. 小分子。一类常见的图形数据集由带有类别标签的小分子组成，代表例如药物发现项目中确定的毒性或生物活性。这里，一个图代表一个分
2021-05-17 15:26:17
3369
1
原创 python使用小技巧
使用heapq从列表中获取最大或最小的元素import heapqscores = [51, 33, 64, 87, 91, 75, 15, 49, 33, 82]print(heapq.nlargest(3, scores)) # [91, 87, 82]print(heapq.nsmallest(5, scores)) # [15, 33, 33, 49, 51]把列表中的值作为参数传递给方法可以使用" * "提取列表中的所有元素：my_list = [1, 2, 3, 4]pri
2021-05-13 10:37:27
80
原创 图分类任务常用数据集
D&D 在蛋白质数据库的非冗余子集中抽取了了1178个高分辨率蛋白质，使用简单的特征，如二次结构含量、氨基酸倾向、表面性质和配体；其中节点是氨基酸，如果两个节点之间的距离少于6埃（Angstroms），则用一条边连接。(DD数据集中节点是没有标签的，节点只有特征)PROTEIN 则是另一个蛋白质网络。任务是判断这类分子是否酶类。NCI-1 是关于化学分子和化合物的数据集，节点代表原子，边代表化学键。NCI-1包含4100个化合物，任务是判断该化合物是否有阻碍癌细胞增长的性质。用于抗癌..
2021-04-28 16:33:57
1853
6
转载 SAGPool笔记
Self-Attention Graph Pooling 图分类 图池化方法 ICML 2019转载：https://blog.csdn.net/yyl424525/article/details/103327551Arxiv:https://arxiv.org/abs/1904.08082github链接：https://github.com/inyeoplee77/SAGPool...
2021-04-21 11:09:55
682
转载 DiffPool 笔记 自用
DiffPool 笔记 自用DiffPool 可微池化的层次图表示学习相关概念背景堆叠GNNs和pooling层Diff pool正则化实验DiffPool 可微池化的层次图表示学习转载：版权声明：本文为CSDN博主「不务正业的土豆」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/yyl424525/article/details/103307795Hierarchical Graph Representati
2021-04-21 10:07:46
2274
转载 PyRadiomics工具包使用说明
官网网站：https://pyradiomics.readthedocs.io/en/latest/index.html转载网站：https://cloud.tencent.com/developer/article/1660808医学影像组学特征值（Radiomics Features）[安装]：python -m pip install pyradiomicsUse 3D Slicer Radiomics extension使用3D Slicer Radiomics扩展3D Slicer是用于
2021-03-15 10:03:21
9433
1
转载 Pytorch.device使用及理解
Pytorch to（device）Pytorch.device理解device=cuda之类的转载合并了一下其他同学的讲解.链接: linktorch.device代表将torch.Tensor分配到的设备的对象。torch.device包含一个设备类型（‘cpu’或‘cuda’）和可选的设备序号。如果设备序号不存在，则为当前设备。如：torch.Tensor用设备构建‘cuda’的结果等同于‘cuda：X’，其中X是torch.cuda.current_device()的结果。device
2020-12-15 16:20:08
25545
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人