- 博客(16)
- 收藏
- 关注
RSS订阅原创 python+ogr解决shp文件自相交的问题
Warning1: RingSelf-intersectionatornearpoint112 .4866642030000334 .830899357000078 ERROR1: Cutlinepolygonisinvalid.使用矢量shp文件剪裁栅格影像时会出现上述问题。提示shp文件自相交。搜集了大量资料，多数回答都是基于PostGIS进行处理。在下载安装过程中很复杂，本人试过多次也没有成功。这里给出一种使用python+ogr函数库的解决方法。不废话，直接上代码。from osgeo im
2022-03-18 16:42:59
2721
8
原创 Python生成及使用环境依赖列表文件requirement.txt
安装pipreqspip install pipreqs生成环境依赖包requirement.txt文件pipreqs . --encoding=utf8 --force使用requirement.txt文件pip install -r requirements.txt
2021-12-07 18:35:40
278
原创 GEE Sentinel2-SR影像下载示例
/** * Function to mask clouds using the Sentinel-2 QA band * @param {ee.Image} image Sentinel-2 image * @return {ee.Image} cloud masked Sentinel-2 image */function maskS2clouds(image) { var qa = image.select('QA60'); // Bits 10 and 11 are clouds
2021-08-30 22:40:27
640
原创 GEE(Google Earth Engine)批量导入谷歌云盘
GEE run跑出结果，F12打开浏览器的Console，输入以下代码，即可批量导入谷歌云盘function runTaskList(){ var tasklist = document.getElementsByClassName('task local type-EXPORT_IMAGE awaiting-user-config'); for (var i = 0; i < tasklist.length; i++) { tasklist[i].getE
2021-08-30 22:14:36
1082
原创 Pytorch练习之保存和加载模型
文章目录1.状态字典：state_dict2.保存和加载推理模型2.1保存和加载state_dict2.2 保存/加载完整模型3. 保存和加载 Checkpoint 用于推理/继续训练4. 在一个文件中保存多个模型5. 使用在不同模型参数下的热启动模式6. 通过设备保存/加载模型6.1 保存到 CPU、加载到 CPU6.2 保存到 GPU、加载到 GPU6.3 保存到 CPU，加载到 GPU6.4 保存 torch.nn.DataParallel 模型每训练完一个epoch后，需要对当前epoch训练得到
2020-08-26 23:09:42
370
原创 Pytorch之迁移学习
迁移学习解决的问题:1.实际任务中，很难得到一个数据量足够大的数据集，而且从0开始训练网络，消耗大量资源。2.现有网络只针对某一特定问题，迁移学习将所学的知识，迁移到新场景，可以很好的解决其他相似问题。迁移学习主要场景：1.网络微调：使用预训练的网络(如在imagenet 1000上训练而来的网络)来初始化自己的网络，而不是随机初始化。将网络输出由1000改为2，以解决二分类问题。2.将Convnet看成固定的特征提取器:首先固定ConvNet除了最后的全连接层外的其他所有层。最后的全连接层被替换
2020-08-22 21:46:44
371
1
转载 迁移学习-微调（fine-tune）的注意事项
选取微调形式的两个重要因素：新数据集的大小（size）和相似性（与预训练的数据集相比）。牢记卷积网络在提取特征时，前面的层所提取的更具一般性，后面的层更加具体，更倾向于原始的数据集（more original-dataset-specific）。四个基本原则：1、新数据集小而且相似时，不建议进行微调，以防止过拟合。最好是只训练线性分类器(只训练后面一层)。2、新数据集大而且相似时，因为有足够的数据，所以可以对整个网络进行训练微调。3、新数据集小而且不相似时，因为数据集不相似，所以最好不要在网络最后面
2020-08-22 21:17:56
671
原创 Pytorch强化练习之tensor自动求导
上篇文章讲到手动实现对某一权重求梯度，但面对复杂的网络模型及损失函数，手动求导十分困难。PyTorch中的 autograd包可实现自动梯度的计算，只需建立tensor时加入requires_grad=True。有关这个tensor上的任何计算操作都将构造一个计算图，从而允许图中执行反向传播。# -*- coding: utf-8 -*-import torchdtype = torch.floatdevice = torch.device("cpu")# device = torch.devi
2020-08-16 20:27:42
270
原创 Pytorch强化练习之手动实现前向和反向传播
pytorch的两个核心特征：1.提供n维张量tensor，类似于numpy，但可以在GPU上运行。2.提供搭建和训练神经网络时的自动微分/求导机制。本章节我们将使用全连接的ReLU网络作为运行示例。该网络将有一个单一的隐藏层，并将使用梯度下降训练，通过最小化网络输出和真正 结果的欧几里得距离，来拟合随机生成的数据。以下内容分别用Numpy和Torch实现。import numpy as npimport torch# Numpy进行数据处理（定义数组，前向、反向传播等）def npbp()
2020-08-14 23:48:40
934
原创 Pytorch图像预处理——归一化、标准化
在深度学习图像分类、物体检测等过程中，首先要对图像进行归一化和标准化。原理：归一化：式中，input表示输入的图像像素值；max()、min()分别表示输入像素的最大值和最小值。output为输出图像像素值。经过归一化，图像像素被调整到[0,1]区间内。标准化：式中，input表示输入的图像像素值；mean(input)表示输入图像的像素均值。std表示输入图像像素的标准差。经过标准化，图像像素被调整到[-1,1]区间内。代码实现：import torchvision.transforms
2020-08-13 23:37:56
21090
原创 Pytorch官方教程练习之数据加载和处理
PyTorch提供了许多工具来简化数据加载，使代码更具可读性。数据及加载和处理步骤如下1.熟悉数据集。拿到数据集后首先了解数据集的信息和结构。本次的数据集为：imagenet数据集标注为face的图片当中在 dlib 面部检测 (dlib’s pose estimation) 表现良好的图片。我们要处理的是一个面部姿态的数据集。也就是按如下方式标注的人脸:数据集是按如下规则打包成的csv文件:可以看到此数据集标注包括，图像名称及特征点坐标。其中第一列为图像名称，后序列为特征点坐标，其包括x和y
2020-08-13 17:03:11
301
原创 Pytorch官方教程练习之图像分类器
如何用Pytorch包处理数据常用的：对于图像，可以用 Pillow，OpenCV对于语音，可以用 scipy，librosa对于文本，可以直接用 Python 或 Cython 基础数据加载模块，或者用 NLTK 和 SpaCy对于视觉处理，常用torchvision包处理数据集，其包括Imagenet，CIFAR10，MNIST 等公共数据集的数据加载模块 torchvision.datasets 和支持加载图像数据数据转换模torch.utils.data.DataLoader等。1.熟
2020-08-11 21:40:15
457
原创 Pytorch官方教程练习之神经网络
神经网络Pytorch中使用torch.nn模块构建神经网络。nn.Module包括神经网络的各层；forward(input)用来返回输出output。本章记录神经网络的构建及其训练过程的步骤。具体训练过程在后续章节记录。1.定义神经网络import torchimport torch.nn as nnimport torch.nn.functional as F# 定义网络class Net(nn.Module): def __init__(self): sup
2020-08-08 22:17:44
242
原创 Pytorch官方文档练习之自动微分
Tensor是PyTorch实现多维数组计算和自动微分的关键数据结构。一方面，它类似于numpy的ndarray，用户可以对Tensor进行各种数学运算；另一方面，当设置.requires_grad = True之后，在其上进行的各种操作就会被记录下来，用于后续的梯度计算，其内部实现机制被成为动态计算图(dynamic computation graph)。1. requires_grad如果将tensor属性 .requires_grad 设置为 True，则会开始跟踪针对 tensor 的所有操作。
2020-08-07 19:32:19
191
原创 Pytorch官方教程练习之Pytorch入门
什么是 PyTorch?PyTorch 是一个基于 Python 的科学计算包，主要定位两类人群：NumPy 的替代品，可以利用 GPU 的性能进行计算。深度学习研究平台拥有足够的灵活性和速度1.定义张量Tensors 类似于 NumPy 的 ndarrays ，同时 Tensors 可以使用 GPU 进行计算。导入torch模块import torch构造5×5矩阵x = torch.empty(5, 3) # torch.empty返回未被初始化的随机数，区别于torch.ran
2020-08-07 13:32:19
149
原创 Windows+Anaconda3+python3.7环境配置+基础操作
首先，打开anaconda官网，选择Windows，Python 3.7 version 下载打开安装文件，安装完anaconda。打开Anaconda Prompt ，输入Jupyter Notebook，打开打开Jupyter Notebook所在的文件位置，右键点击选择属性，更改目标起始位置如下上面下载了anaconda，以及更改了jupyer notebook文件的目标和起始位...
2020-02-24 13:01:53
1678
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人