python
Tsingzao-于廷照
这个作者很懒,什么都没留下…
展开
-
python安装cfgrib读取grib数据
cfgrib提示RuntimeError: Cannot find the ecCodes library原创 2023-01-29 17:27:08 · 3747 阅读 · 2 评论 -
图时空序列预测方法记录
1、《Graph WaveNet for Deep Spatial-Temporal Graph Modeling》2019年IJCAI的文章,亮点有三:①自适应邻接矩阵 self-adaptive adjancency matrix;②基于自适应矩阵的扩散图卷积 diffusion GCN;③空洞因果卷积 dilated causal temporal convolution。其中,自适应邻接矩阵是通过两个node embedding矩阵基于ReLU和Softmax激活得出,优势在于对未知图结原创 2022-03-30 11:43:05 · 3327 阅读 · 0 评论 -
python读取xlsx
通过pandas库可读取xlsx文件,读取方式为import pandas as pddata = pd.read_csv('./data.xlsx')但pandas读取xlsx文件需要xlrd库,未安装则会提示缺少库文件,另外,如果xlrd库版本过高,则会提示xlrd.biffh.XLRDError: Excel xlsx file; not supported需要将xlrd库降至1.2.0版本。...原创 2022-01-27 09:41:12 · 1302 阅读 · 0 评论 -
关于python的GUI界面
在尝试将pytorch图像识别的结果用用户界面的形式展示:最开始试图用C#写界面(毕竟写界面C#还是非常人性化的),然后通过按钮事件调用python识别,并将结果返回C#(或者将结果写入文档,并用C#重新读取),但不管怎么尝试,搜了好多方式,都无法实现简单的按钮事件调用(搜到的a+b例子也无法复现)。无奈,搜索了一下,发现python自带的tkinter可以实现用户界面的。记录一下基本用法:root = Tk()可以理解为初始化好图形界面root.geometry('1280x640原创 2021-11-30 14:51:45 · 648 阅读 · 0 评论 -
github个人主页或reamd添加访客统计的方法
1、从Flag Counter选择喜欢的格式2、点击 GET YOUR FLAG COUNTER3、将(HTML)的内容复制到readme.md即可显示原创 2021-09-22 14:24:59 · 3097 阅读 · 0 评论 -
城市风场数据空间降尺度模拟分析-可行解决方案
赛题链接:https://www.sodic.com.cn/competitions/900012原创 2021-09-08 16:00:54 · 520 阅读 · 0 评论 -
时序预测相关算法的直观结构图及公式
最近花了很长的时间来整理前述时序预测方法及代码,本期做一个形象直观的对比。如下:ConvLSTMConvGRUPredRNNPredRNN++统一了一下画图及公式组织。原创 2020-10-20 16:20:09 · 761 阅读 · 0 评论 -
欢迎关注公众号 - 人人AI气象
个人是机器学习、模式识别方向出身,前期主要研究视频等时空数据的特征分析。现在入坑气象领域有一年多,为了更好的进步,为了更好的将之前所研究基础应用于气象,尝试建立了如下公众号,欢迎关注。公众号主要从气象和计算机两个方向尝试总结一些有用的内容,但写作方式跟博客一样随意。...原创 2020-10-12 20:53:26 · 252 阅读 · 0 评论 -
Pytorch手动实现卷积
某些时候可能需要用到类似卷积操作滑动窗的思想,实现一些操作。具体实现如下,首先导入必要的包import torchimport numpy as npimport torch.nn as nn方便起见(同时为了验证方法正确性),构建简单的卷积输入input = torch.from_numpy(np.array([1,2,3,4,5,6,7,8,9])).view((1,1,3,3)).float()查看输入内容In [5]: input.shape原创 2020-09-30 12:23:53 · 1968 阅读 · 0 评论 -
Domain Adaptation 与 Generative Adversarial Network
域自适应 与 生成对抗网络1、《Unsupervised domain adaptation by backpropagation》pytorch 代码:https://github.com/fungtion/DANN文章:http://sites.skoltech.ru/compvision/projects/grl/files/paper.pdf网络结构:细节:①网络简称DANN,文章发表于2015年ICML,与GAN(2014年NIPS)同时期,DANN参考文献中有GAN。DA原创 2020-07-16 10:38:49 · 887 阅读 · 0 评论 -
Pytorch在已有网络基础上微调
这个问题应该很简单,而且之前看过类似的demo,结果忘干净了,现在只实现了一个比较naive的方法。我们以vgg为例,假定我们的网络继承自VGG,那么from torchvision.models.vgg import VGGclass DemoNet(VGG): def __init__(self): super().__init__ sel...原创 2019-09-17 16:06:04 · 1113 阅读 · 0 评论 -
LabelMe安装流程及简单用法
环境:Windows 10 + Anaconda 31、首先安装anaconda3,推荐此网站,下载较快https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/。下载完毕安装即可。以下步骤均在Anaconda Prompt下进行即可。主要就是按照官方提供的流程走。https://github.com/wkentaro/labelme。2、...原创 2019-09-16 18:00:42 · 7165 阅读 · 0 评论 -
python开发环境
今天突然想起之前开始用python时候对于开发环境的迷茫,在用python之前,习惯matlab和C#。接触python时对于用何种开发工具有点不知所措,查询知道pycharm是比较多数人的选择,当然也有很多Eclipse答案。用matlab的习惯使得我习惯于在command里调试,而pycharm看起来好像比较复杂,Eclipse也是晕,因此,最开始用的是python自带IDE。后来,知道a...原创 2019-09-16 14:18:48 · 220 阅读 · 0 评论 -
整理Pytorch代码自己的写作习惯
自己不是纯代码为主,而主要研究算法,因此自己以前全部代码都是停留在能用的阶段,但自从git clone SRPytorch这一工程后,觉得需要提升自己代码可读性,也便于自己算法的对比。现大体归纳为以下几点:1、适当的目录之前很不好的习惯是全部代码放在一处,甚至放在一个文件中。受SRPytorch的启发,按模型构建、模型保存、附加类库等分类,构建适当的目录,如下图这样工程下只放一个...原创 2019-09-11 18:50:34 · 438 阅读 · 0 评论 -
Tensorboard提示unable to get first event timestamp for run解决办法
TensorBoard为分析模型训练过程等提供了很好的可视化端口,关于如何在Pytorch中调用Tensorboard,博文《pytorch调用tensorboard方法尝试》已经详细说明。今天在调用Tensorboard过程中,遇到问题如下,运行tensorboard --logdir=/log/path后提示unable to get first event timestamp for r...原创 2019-05-31 20:08:13 · 3541 阅读 · 0 评论 -
Pytorch获取中间层表示
这里先只是搬运过来,https://github.com/zergtant/pytorch-handbook/blob/master/chapter4/4.1-fine-tuning.ipynb,还没测试,但觉得以后会用到。根据提供的方法,需要经过如下步骤:1)定义hook函数in_list= [] #存放待输出中间层内容def hook(module, input, output...原创 2019-04-26 16:44:45 · 1209 阅读 · 1 评论 -
python读取.nc数据
要用python读取.nc数据,首先要安装netCDF4包。运行pip install netCDF4即可。首先通过import netCDF4 as ncfile = nc.Dataset(file_path)打开文件,如果我们对.nc文件的内容一无所知,那么可以通过file.variables命令,查看文件内容,可以查看保存文件数据的key、dtype、shap...原创 2018-12-29 10:37:16 · 13746 阅读 · 1 评论 -
Linux无法打开Spyder
打开spyder碰到问题Traceback (most recent call last): File "/home/**/anaconda2/bin/spyder", line 4, in <module> import spyder.app.start File "/home/**/anaconda2/lib/python2.7/site-packages/spyd...原创 2018-03-02 13:35:47 · 3750 阅读 · 0 评论 -
Pytorch如何自定义Loss
将Loss视作单独的层,在forward函数里写明loss的计算方式,无需定义backwardclass MyLoss(nn.Module): def __init__(self): super(MyLoss, self).__init__() print '1' def forward(self, pred, truth): ...原创 2018-05-25 17:22:01 · 10631 阅读 · 2 评论 -
Pytorch自定义网络结构+读取自己数据+自定义Loss 全过程代码示例
1、限定使用GPU的序号import osos.environ['CUDA_VISIBLE_DEVICES'] = '3'os.system('echo $CUDA_VISIBLE_DEVICES')2、导入相关头文件import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.utils.dat...原创 2018-05-25 17:37:49 · 14853 阅读 · 7 评论 -
编译C3D-caffe遇到的问题总结
本文是基于cuda8.0+cudnn5.1+opencv3,前提是安装好库文件,以及ffmpeg等首先,修改Makefile.config文件,将相应路径修改为自己的目录,运行make all -j1、build_release/lib/libcaffe.so: undefined reference to `cv::VideoCapture::set(int, double)'解决办法:修改Ma...原创 2018-06-12 10:26:11 · 1580 阅读 · 1 评论 -
如何用Pytorch提取视频单帧网络特征+SVM分类 - 非End-to-End
1、提取网络特征import osos.environ['CUDA_VISIBLE_DEVICES'] = '3'os.system('echo $CUDA_VISIBLE_DEVICES')import torchimport torch.nn as nnfrom torchvision import transforms, modelsfrom torch.autograd im...原创 2018-05-24 20:54:07 · 4939 阅读 · 2 评论 -
Pytorch遇到的问题及解决方案 - 更新ing
1、安装完成后,不能import torch,提示 ImportError: dlopen: cannot load any more object with static TLS解决办法:有很多答案都说是将import torch放在import cv2之前,但我试了之后还是不能解决,最后是通过在jupyter notebook中可以直接import torch。我是通过mobarxterm...原创 2018-01-17 13:58:49 · 48568 阅读 · 12 评论 -
不能import caffe的几种问题 - 博客搬家
1、libstdc++.so.6: version `GLIBCXX_3.4.20' not found 解决方法: conda install libgcc 2、RuntimeError: module compiled against API version 0xb but this version of numpy is 0xa; ImportError...原创 2018-07-06 08:16:18 · 1234 阅读 · 0 评论 -
Tensorflow + Faster RCNN 遇到的问题及解决方案
代码fork自 https://github.com/endernewton/tf-faster-rcnn1、数据准备过程,参见pytorch版本,见这里。2、遇到问题:InvalidArgumentError (see above for traceback): Assign requires shapes of both tensors to match. 解决方案:删除...原创 2018-07-24 20:32:21 · 1465 阅读 · 1 评论 -
Tensorflow Faster RCNN 如何增加额外输出
假定我们的需求是额外的增加一个多类别信息,并且与之前已有的类别共用同一个bounding box,修改如下:1、数据读取层: (1) lib/datasets/pascal_voc.py ① __init__函数 需要在41行之后增加需求类别及index ② _load_pascal_annotation函数 需要在...原创 2018-08-05 17:03:06 · 339 阅读 · 0 评论 -
用TensorFlow搭建网络训练、验证并测试
本文总结tensorflow使用的相关方法,包括:0、定义网络输入1、如何利用tensorflow在已有网络入resnet基础上搭建自己的网络结构2、如何添加自己的网络层3、如何导入已有模块入resnet全连接层之前部分的参数4、定义网络损失5、定义优化算子以及衰减优化算子6、预测网络输出7、保存网络模型8、自定义生成训练batch9、训练网络10、利用...原创 2018-08-15 19:35:16 · 7197 阅读 · 1 评论 -
StanfordTokenizer提示找不到stanford-postagger.jar
提示如下错误,LookupError:=========================================================================== NLTK was unable to find stanford-postagger.jar! Set the CLASSPATH environment variable. For ...原创 2018-08-28 14:59:51 · 1606 阅读 · 0 评论 -
pytorch调用tensorboard方法尝试
tensorboard提供了用于监视训练损失很好的接口,可以帮助我们更好的调整参数。下文介绍如何在pytorch中调用tensorboard。首先,安装tensorboard、tensorflow以及tensorboardX第二,在文件开头导入SummaryWriterfrom tensorboardX import SummaryWriter第三,同tensorflow的ten...原创 2018-09-04 11:24:28 · 2226 阅读 · 0 评论 -
修改anaconda和pip源
修改pip源在用户目录下新建.pip/pip.conf,输入[global] index-url = https://pypi.mirrors.ustc.edu.cn/simple/修改anaconda源直接在terminal下输入conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaco...原创 2018-09-26 15:04:22 · 3491 阅读 · 0 评论 -
视频动作识别相关数据集 - 博客搬家
最大的视频数据集,谷歌发布的YouTube-8M,8M视频clip,4716类动作,只提供提取好的Inception特征,存储都是问题。最新DeepMind发布的Kinect动作识别数据库,包含3M视频clip,400个动作类。德国20BN-JESTER DATASET数据库,分两部分,每一部分都有1M+视频clip。有Bengio指导。现在常刷的数据集:UCF-101和 HMDB-5...原创 2018-09-30 11:20:16 · 2063 阅读 · 1 评论 -
python关于utf-8的问题
问题:UnicodeEncodeError: 'ascii' codec can't encode character u'**' in position **: ordinal not in range(128)解决方案:1、试过在python文件前添加encoding utf-8没有成功;2、试过import sysreload(sys原创 2018-02-06 21:50:27 · 1288 阅读 · 0 评论