慧慧的博客

Ocean Color 或者 PO.DAAC 数据下载由于直接从Ocean Color 或者PO.DAAC 网页下载数据时，网络经常会中断，甚至速度很慢。本文介绍一个方法，当然也是官方提供的，通过Linux命令下载的方式。首先访问https://podaac.jpl.nasa.gov/，搜索找到你想要下载的数据，我这里以MODIS的Level 3产品为例。在"Data Access"一栏可以看到这个产品下载的网址在"Web Service"中。另外，在"Information"一栏中可以找到产品的简称 (

MODIS云掩模数据读取-MOD35，本人自定义了函数

警告InsecureRequestWarning: unverified HTTPS request is being made to host下载数据的时候经常会遇到这个警告，虽然不影响使用，但看起来也很糟心，特别是你的console控制台出现一大堆英文提示覆盖了有效的信息时，本人决定到官方所给的网站去探寻一番。官方的说明如下PoolManager 这个类为每一个 Post 自动创建处理ConnectionPool 实例，默认最大的ConnectionPool 为10个，如果你有很多的请求，你需要去

IDL 创建HDF5文件，chunksize用过IDL的朋友们应该有这么一个感受，IDL在读写HDF/NetCDF 的时候比较繁琐，代码一行一行很多，并且很多时候不知道如何根据自己的需求查找对应的函数/方法，让人头疼。本博主在这里分享一波IDL创建HDF5文件的经验，并支持分块读写，供大家参考。; 首先给定文件的目录 file_path = "C:\Users\dell\Desktop\hdf5_out.h5"; H5F_CREATE 创建一个HDF5文件，返回一个文件识别码fid fid = H

本人之前的博客中介绍了批量下载ERA5数据的方法，在这里再此对方法进行优化，采用多进程下载。采用的Python 的Multiprocessing。可以根据需求选择相应的参数、空间范围、分辨率、时间等等。__author__ = "LNH"import cdsapiimport numpy as npimport calendarimport os from multiprocessing import Processdef download(c, var, year, month, da

tensorflow1.x和2.x之间差别很大，本人在用rensorflow2.1.0-GPU 运行RCNN-Masked时候出现ValueError: Tried to convert ‘shape’ to a tensor and failed. Error: None values not supported.这个错误。 通过在tensorflow base_layer.py 中修改部分源码或许能帮助解决这个问题。from tensorflow.python.keras.utils.generic_

矩阵运算，局部标准差！IDL这个语言中常规计算局部标准差的方法都是采用双循环的方式，本人提出一种矩阵计算得到不同尺寸的“滑块”的标准差（3×3、5×5、7×7等都可以实现），话不多说直接上代码，代码中有详细的说明注释。下面的函数是用来计算局部标准差：FUNCTION uniformity_convol_method, raw_data, filter_h, filter_w, invalid_value;raw_data 是原始的二维数组;fileter_h 是滑块的高度;filter_w 是滑

正则表达式提取文件需要的文件利用Python 正则表达式来提取 *.gz后缀的文件。本人写了一个类用于读取文件import osimport numpy as npimport gzipimport reimport argparseclass function(object): def __init__(self): self.path = "xxx" self.cond = "xxx" def load

欧洲数值预报中心-ERA5数据下在本文提供了一个下载ERA5-land hourly data 的示例import cdsapiimport numpy as npimport calendarimport os# define directory in which data shall be storedos.chdir("F:/era5")#账号的url\uid\keyc = cdsapi.Client(url= "https://cds.climate.copernicus.eu

本文主要利用tesseract识别网页登陆中的验证码（从图像的角度，不是Cookie）很多人对CAPTCHA（验证码）很熟悉，但是很少有人知道其含义：全自动区分计算机和人类的图灵测试。通俗的讲就是是一种区分人和人工智能程序的方法。很多的网页都设置了验证码，常见的就是由“字母数字”组成的图片，如下：本文的代码是利用selenium模拟浏览器的运行，识别登陆界面的验证码，分割验证码的区域然后识别...

绘制AUC ROC 曲线 计算混淆矩阵准确率召回率曲线，曲线下面积等是机器学习中常用来检验模型的标准，话不多说，直接上代码。# -*- coding: utf-8 -*-"""Created on Fri Apr 10 23:36:57 2020@author: dell"""import h5pyimport numpy as npimport matplotlib.pypl...

利用tensorflow的keras搭建了一个卷积神经网络，训练模型进行评估懂行的人自己看首先要将数据进行归一化处理，训练后的准确率可以达到70%，采用了一些已知过拟合的方法，BatchNormalization、Dropout、权值衰减等。# -*- coding: utf-8 -*-"""Created on Fri Apr 10 16:06:20 2020@author: de...

出现“failed to execute XXX script”有可能是因为你的视频或者图片等资源设置为了绝对路径，你需要将其修改为相对路径，特别是是pygame需要的资源如图片音乐等pyinstaller是不会给你打包的，需手动加入。 解决办法： 将你所需要的资源如图片音乐等文件与exe放在同一目录下，运行exe就不会出错了字体的原因，打包后的.exe执行文件无法找到你所设...

利用im2col提高云检测的速度常规的“云检测”在计算“滑块”的标准差的时候都是采用双重循环的方式，逐行逐列的进行计算，这样会导致速度很慢。本人提出一种快速计算矩阵“滑块”标准差的方法。需要读者首先掌握im2col方法：https://blog.csdn.net/luqialiu3392/article/details/105352620;im2col函数FUNCTION fun_co...

IDL im2col和col2im函数示例本人在卷积神经网络的卷积层、池化层的im2col和反向传播的col2im方法上有所启发，考虑到IDL本身并没有im2col和col2im函数，于是编写了相关的IDL函数。话不多说，直接上代码！1. im2col;input_data: 由(高, 长)的2维数组构成的输入数据;filter_h: 滤波器的高;filter_w: 滤波器的长;str...

Python where()函数与IDL where()函数的比较本人最近对python的where函数产生了一些疑问，因为它和IDL中的where函数不太一样，本文主要就两种语言的where函数进行简单的比较。1 . Python 的where函数在多条件下的判断import numpy as np#首先创建两个非常大的随机数组用来做测试A = np.random.randn(100...

IDL快速构造系数矩阵提高运算和读写速度实际上系稀疏矩阵的定义并不明确，因人而异。在矩阵中，若数值为0的元素数目远远多于非0元素的数目，并且非0元素分布没有规律时，则称该矩阵为稀疏矩阵。具体的概念及定义可以参考下面的链接：https://blog.csdn.net/yhb1047818384/article/details/78996906稀疏矩阵的构建标准的线性代数技术在处理系数矩...

MODIS冰雪数据批量下载之Python Script相信有很多的朋友在研究极地（南北两极）的冰雪吧，下数据可能对于某些大小同行来说是一个头疼的问题，本文在这里就介绍一种批量爬取数据的方法。数据下载地址美国冰雪数据中心 https://nsidc.org/结合自身的例子给大家分享一下，其实很简单的哦！第一步：登录美国冰雪数据中心的网站，打开你要下载的数据的页面，点击“Download...