【数据分析】【Python】多维数据高效操作、读取与储存-numpy、h5py实现 看了一下，前面的回答都不太对。把自己写的一篇文章贴上来吧。欢迎指正。两个问题分别为多维数据存储和多维数据操作，是数据分析和机器学习的科研工作中最常遇见的问题。常见的多维度数据有：真彩图、遥感影像图、医学影像图，最近比较火的深度图等等。多维数据的特点：数据量大，单个数据最少也是（1000，1000，10）这个量级的。矩阵形式在存储的时候，需要考虑多个方面的问题：要对数据进行压缩。...
【MODIS】MODIS数据的两种批量下载方法 - Python和Wget 平时使用MODIS的数据做科研，都不是使用一天或者几天的数据，都是使用几年的数据。所以介绍一下MODIS的批量下载。关于MODIS账号的注册和MODIS常用的下载源，可以看我上一篇文章《【MODIS】MODIS数据的常用下载源》，有详细的介绍。如果还有什么疑问，可以下面留言，或者私信联系我。生成APP Key无论哪种方法，我们都需要生成自己的APP Key，这样才能在批量下载的时候通过MO...
【计算机视觉】数据预处理-统一图片大小-image_resize-crop-pad-SPPnet-OpenCV-Python实现 问题在做CNN的时候，大部分的神经网络模型要求输入的图片大小是固定的。但是由于数据来源的不同，大多数情况下会遇到数据集的图片大小不统一的问题。比如下面这张图片的大小是333*500，现在要处理为256*256大小的图片。import numpy as npfrom PIL import Imageimg_path = 'data/input/img/3771.jpg'image =...
【Debug】【Ubuntu】cannot find crt1.o | cannot find lgcc_s 问题是，可能只有当前架构的gcc，而且是64位的。所以需要32位的支持文件。对于 cannot find crt1.osudo apt install gcc-multilib对于 cannot find lgcc_ssudo apt-get install lib32z1-dev...
【Fortran】Ubuntu16.04安装g77编译器 | dpkg: error processing package g77-3.4-doc 今天编译修改NASA的MODIS产品处理软件imapp，需要用到上古神器g77。Ubuntu的源已经没有这个源了，所以找了一下在Ubuntu（==16.4）系统下的编译安装方案，记录一下。安装包的下载地址：http://www.ziddu.com/download/16792814/g77_x64_debian_and_ubuntu.tar.gz.htmltar -xzvf g77_x64_d...
【MODIS】MODIS数据的常用下载源 说明在这里给大家介绍了MODIS数据常用的三个下载源。后面会介绍怎么批量下载。LAADS DAAC search href="https://ladsweb.modaps.eosdis.nasa.gov/search/LAADS DAAC archive https://ladsweb.modaps.eosdis.nasa.gov/archive/LP DAAC https://e4ft...
【pyModis】代码与功能详解（一）pyModis的介绍与安装 pyModis介绍pyModis是一个基于Python的免费开源库，用于处理MODIS数据。它为用户选择的时间范围提供批量下载，对MODIS数据进行拼接，从正弦投影转为其他投影，将HDF格式转换为其他格式，还可以提取数据质量信息。pyModis提供了如下的功能：批量下载NASA的MODIS产品数据，包括HDF/XML/JEPG。HDF是产品数据，XML保存了HDF产品数据的元信息，JEPG...
【Debug】【Linux】/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory 今天，在使用一台64位Linux服务器的时候，出现了下面的错误：/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory原因这个问题只在64位的系统中出现，因为32位的libraries在系统中是缺失的，并且scrippt/program需要它们。修复在(CentOS/RedHat/Fedora/Suse/Ma...
【Debug】【h5py】TypeError: No conversion path for dtype : dtype (U7) 原因h5py 的String类型只接受ASCII的数据，如果你是Python3或者Python使用utf-8的编码就会报错。import h5pyf = h5py.File('test.hdf', 'w')f.attrs.create('test', '1234134')>>> h5py\h5t.pyx in h5py.h5t.py_create()>>...
【Debug】【Fortran】'Segmentation fault(core dumped)' 今天在Linux下运行某个程序，总是遇到Segmentation fault错误。同样程序在自己的PC windows下运行正常，查看Linux机器，内存足够。使用的是Intel编译器ifort，64位。原因是初始分配的stack空间不足。在这里插入代码片...
【Debug】ERROR: ld.so: object '/usr/local/lib/ff.so' from /etc/ld.so.preload cannot be preloaded: igno 解决这个问题需要先了解一下Linux系统的库文件库文件是编译好的程序，这类程序通常没有执行入口，需要其他程序的调用才会执行。Linux 中的 so（shared object，共享对象） 也叫做动态链接库，在 Linux 中是一系列以 .so 为后缀名（后面可能还跟有版本号）的文件。与动态链接库所对应的是静态库，静态库文件是以 .a 为后缀名的文件。使用动态链接库的程序程序在启动时操...
【Debug】【gdal】ImportError: libkea.so.1.4.7: cannot open shared object file: No such file or directory 这个是Anaconda的环境错误，我在安装basemap模块的时候，使用了两种方式，结果Anaconda的conda-forge和anaconda两个channel出现了混合错误。参考这个链接：https://conda-forge.org/docs/user/tipsandtricks.html#how-to-fix-itconda install basemap # 这种方式安装失败c...
设置Windows的路由 同时使用两个网卡 一个内网 一个外网 操作需要使用cmd，或者 Windows PowerShellroute print查看路由route -p add 10.24.181.0 mask 255.255.255.0 192.168.1.1 metric 14-p：增加永久路由，不添加这一项增加的是临时路由，重启电脑以后就会失效add：添加路由10.24.181.0：内网地址，增加10.24.181.0~10.24....
Matplotlib设置NaN值填充的区域为透明 Matplotlib将数据绘制为带有颜色的图片特别方便。有一个需求：将生成的图片的填充值位置变为透明色。import matplotlib.pyplot as pltalpha = 0fig = plt.figure()fig.patch.set_alpha(alpha)plt.savefig('alpha.png')https://codeday.me/bug/201903...
【MODIS】将MODIS的HDF格式数据转为GEOTIFF from pymodis import convertmodis_gdalin_file = r'h:/MCD19A2.A2018364.h28v06.006.2019009043740.hdf'out_pre = r'h:/AOD19'mds = convertmodis_gdal.convertModisGDAL( in_file, out_pre, [1, 1], 0, o...
使用Basemap生成静止卫星的圆盘底图-FY4A为例 import matplotlib.pyplot as pltfrom mpl_toolkits.basemap import Basemapfig = plt.figure(figsize=(2.478, 2.478), dpi=1000)m = Basemap(projection='ortho', lat_0=0, lon_0=104.5)m.drawl...
【Debug】【Basemap】Hack方式处理Anaconda的KeyError ‘PROJ_LIB’ 这个问题是使用Anaconda的conda命令安装Basemap以后产生的。#Hack to fix missing PROJ4 env varimport osimport condaconda_file_dir = conda.__file__conda_dir = conda_file_dir.split('lib')[0]proj_lib = os.path.join(os....
Python+gdal读取遥感影像GEOTiff、ENVI，获取网格化的数据和经纬度 class Read: def __init__(self, in_file): self.in_file = in_file dataset = gdal.Open(self.in_file) self.XSize = dataset.RasterXSize self.YSize = dataset.RasterYSize...
关注
