- 博客(16)
- 收藏
- 关注
原创 python+ogr解决shp文件自相交的问题
Warning1: RingSelf-intersectionatornearpoint112 .4866642030000334 .830899357000078 ERROR1: Cutlinepolygonisinvalid.使用矢量shp文件剪裁栅格影像时会出现上述问题。提示shp文件自相交。搜集了大量资料,多数回答都是基于PostGIS进行处理。在下载安装过程中很复杂,本人试过多次也没有成功。这里给出一种使用python+ogr函数库的解决方法。不废话,直接上代码。from osgeo im
2022-03-18 16:42:59
2851
8
原创 Python生成及使用环境依赖列表文件requirement.txt
安装pipreqspip install pipreqs生成环境依赖包requirement.txt文件pipreqs . --encoding=utf8 --force使用requirement.txt文件pip install -r requirements.txt
2021-12-07 18:35:40
290
原创 GEE Sentinel2-SR影像下载示例
/** * Function to mask clouds using the Sentinel-2 QA band * @param {ee.Image} image Sentinel-2 image * @return {ee.Image} cloud masked Sentinel-2 image */function maskS2clouds(image) { var qa = image.select('QA60'); // Bits 10 and 11 are clouds
2021-08-30 22:40:27
658
原创 GEE(Google Earth Engine)批量导入谷歌云盘
GEE run跑出结果,F12打开浏览器的Console,输入以下代码,即可批量导入谷歌云盘function runTaskList(){ var tasklist = document.getElementsByClassName('task local type-EXPORT_IMAGE awaiting-user-config'); for (var i = 0; i < tasklist.length; i++) { tasklist[i].getE
2021-08-30 22:14:36
1107
原创 Pytorch练习之保存和加载模型
文章目录1.状态字典:state_dict2.保存和加载推理模型2.1保存和加载state_dict2.2 保存/加载完整模型3. 保存和加载 Checkpoint 用于推理/继续训练4. 在一个文件中保存多个模型5. 使用在不同模型参数下的热启动模式6. 通过设备保存/加载模型6.1 保存到 CPU、加载到 CPU6.2 保存到 GPU、加载到 GPU6.3 保存到 CPU,加载到 GPU6.4 保存 torch.nn.DataParallel 模型每训练完一个epoch后,需要对当前epoch训练得到
2020-08-26 23:09:42
460
原创 Pytorch之迁移学习
迁移学习解决的问题:1.实际任务中,很难得到一个数据量足够大的数据集,而且从0开始训练网络,消耗大量资源。2.现有网络只针对某一特定问题,迁移学习将所学的知识,迁移到新场景,可以很好的解决其他相似问题。迁移学习主要场景:1.网络微调:使用预训练的网络(如在imagenet 1000上训练而来的网络)来初始化自己的网络,而不是随机初始化。将网络输出由1000改为2,以解决二分类问题。2.将Convnet看成固定的特征提取器:首先固定ConvNet除了最后的全连接层外的其他所有层。最后的全连接层被替换
2020-08-22 21:46:44
389
1
转载 迁移学习-微调(fine-tune)的注意事项
选取微调形式的两个重要因素:新数据集的大小(size)和相似性(与预训练的数据集相比)。牢记卷积网络在提取特征时,前面的层所提取的更具一般性,后面的层更加具体,更倾向于原始的数据集(more original-dataset-specific)。四个基本原则:1、新数据集小而且相似时,不建议进行微调,以防止过拟合。最好是只训练线性分类器(只训练后面一层)。2、新数据集大而且相似时,因为有足够的数据,所以可以对整个网络进行训练微调。3、新数据集小而且不相似时,因为数据集不相似,所以最好不要在网络最后面
2020-08-22 21:17:56
681
原创 Pytorch强化练习之tensor自动求导
上篇文章讲到手动实现对某一权重求梯度,但面对复杂的网络模型及损失函数,手动求导十分困难。PyTorch中的 autograd包可实现自动梯度的计算,只需建立tensor时加入requires_grad=True。有关这个tensor上的任何计算操作都将构造一个计算图,从而允许图中执行反向传播。# -*- coding: utf-8 -*-import torchdtype = torch.floatdevice = torch.device("cpu")# device = torch.devi
2020-08-16 20:27:42
287
原创 Pytorch强化练习之手动实现前向和反向传播
pytorch的两个核心特征:1.提供n维张量tensor,类似于numpy,但可以在GPU上运行。2.提供搭建和训练神经网络时的自动微分/求导机制。本章节我们将使用全连接的ReLU网络作为运行示例。该网络将有一个单一的隐藏层,并将使用梯度下降训练,通过最小化网络输出和真正 结果的欧几里得距离,来拟合随机生成的数据。以下内容分别用Numpy和Torch实现。import numpy as npimport torch# Numpy进行数据处理(定义数组,前向、反向传播等)def npbp()
2020-08-14 23:48:40
951
原创 Pytorch图像预处理——归一化、标准化
在深度学习图像分类、物体检测等过程中,首先要对图像进行归一化和标准化。原理:归一化:式中,input表示输入的图像像素值;max()、min()分别表示输入像素的最大值和最小值。output为输出图像像素值。经过归一化,图像像素被调整到[0,1]区间内。标准化:式中,input表示输入的图像像素值;mean(input)表示输入图像的像素均值。std表示输入图像像素的标准差。经过标准化,图像像素被调整到[-1,1]区间内。代码实现:import torchvision.transforms
2020-08-13 23:37:56
21428
原创 Pytorch官方教程练习之数据加载和处理
PyTorch提供了许多工具来简化数据加载,使代码更具可读性。数据及加载和处理步骤如下1.熟悉数据集。拿到数据集后首先了解数据集的信息和结构。本次的数据集为:imagenet数据集标注为face的图片当中在 dlib 面部检测 (dlib’s pose estimation) 表现良好的图片。我们要处理的是一个面部姿态的数据集。也就是按如下方式标注的人脸:数据集是按如下规则打包成的csv文件:可以看到此数据集标注包括,图像名称及特征点坐标。其中第一列为图像名称,后序列为特征点坐标,其包括x和y
2020-08-13 17:03:11
308
原创 Pytorch官方教程练习之图像分类器
如何用Pytorch包处理数据常用的:对于图像,可以用 Pillow,OpenCV对于语音,可以用 scipy,librosa对于文本,可以直接用 Python 或 Cython 基础数据加载模块,或者用 NLTK 和 SpaCy对于视觉处理,常用torchvision包处理数据集,其包括Imagenet,CIFAR10,MNIST 等公共数据集的数据加载模块 torchvision.datasets 和支持加载图像数据数据转换模torch.utils.data.DataLoader等。1.熟
2020-08-11 21:40:15
469
原创 Pytorch官方教程练习之神经网络
神经网络Pytorch中使用torch.nn模块构建神经网络。nn.Module包括神经网络的各层;forward(input)用来返回输出output。本章记录神经网络的构建及其训练过程的步骤。具体训练过程在后续章节记录。1.定义神经网络import torchimport torch.nn as nnimport torch.nn.functional as F# 定义网络class Net(nn.Module): def __init__(self): sup
2020-08-08 22:17:44
251
原创 Pytorch官方文档练习之自动微分
Tensor是PyTorch实现多维数组计算和自动微分的关键数据结构。一方面,它类似于numpy的ndarray,用户可以对Tensor进行各种数学运算;另一方面,当设置.requires_grad = True之后,在其上进行的各种操作就会被记录下来,用于后续的梯度计算,其内部实现机制被成为动态计算图(dynamic computation graph)。1. requires_grad如果将tensor属性 .requires_grad 设置为 True,则会开始跟踪针对 tensor 的所有操作。
2020-08-07 19:32:19
201
原创 Pytorch官方教程练习之Pytorch入门
什么是 PyTorch?PyTorch 是一个基于 Python 的科学计算包,主要定位两类人群:NumPy 的替代品,可以利用 GPU 的性能进行计算。深度学习研究平台拥有足够的灵活性和速度1.定义张量Tensors 类似于 NumPy 的 ndarrays ,同时 Tensors 可以使用 GPU 进行计算。导入torch模块import torch构造5×5矩阵x = torch.empty(5, 3) # torch.empty返回未被初始化的随机数,区别于torch.ran
2020-08-07 13:32:19
166
原创 Windows+Anaconda3+python3.7环境配置+基础操作
首先,打开anaconda官网,选择Windows,Python 3.7 version 下载打开安装文件,安装完anaconda。打开Anaconda Prompt ,输入Jupyter Notebook,打开打开Jupyter Notebook所在的文件位置,右键点击选择属性,更改目标起始位置如下上面下载了anaconda,以及更改了jupyer notebook文件的目标和起始位...
2020-02-24 13:01:53
1694
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人