陌云漫步-CSDN博客

原创 Python构建自己的函数包

大家使用Python经常会根据自己的目的写一些常用的函数，来实现代码复用，但是如果不想在每个代码中都把函数写一遍，就需要创建自己的包，这样每次import就好了，用起来非常方便，有时只有自己用的话在本地随便写写就好了，如果要共享给他人，就需要传到pypi，虽然网上有很多教程了，但是我还是踩了很多坑，下面就来介绍一下到底该怎么实现吧。构建自己的包注册账号首先需要去pypi（https://pypi.org/）和testpypi（https://test.pypi.org/）分别注册账号，pypi是最终发

2022-04-09 15:25:47 1599

原创使用Python GDAL小工具实现栅格拼接（替代arcgis）

栅格拼接最初使用的是arcgis，但是arcgis拼接每次只能拼接单张，拼接之后还要自动建立投影金字塔，所以如果拼很多图像并且最终的图像很大，就会非常慢（并不知道如何拼接可以不建立投影金字塔），所以就在网上搜了搜Python gdal的解决方法，大概分成两种吧。第一种是比较手动的，需要自己创建tif，指明行列分辨率和投影信息，最后将矩阵塞进去，这种方法实在是太原始了…第二种就是自动拼接，使用gdal的小工具：gdal_merge.py，下面是我学习后自己写的函数，基本上可以实现简单的arcgis中Toolb

2021-09-24 16:40:15 2396

原创 Python画图使用latex设置上下标偏移量

在画图的时候经常需要添加上标或者下标，最常用的方法就是使用latex进行，之前就直接百度了代码复制了，但是发现有时候latex打印出来的字体和我原本的字体并不一样，于是就去找了一下原因。首先当我们进行打印上标时，网上可以找到一下两种写法：plt.text('${ha^{-1}}$')plt.text('$\mathregular{ha^{-1}}$')这里mathregular其实是告诉电脑这里要用和非latex内容相同的字体，所以如果大家希望latex打印出来的字体和默认字体一样就需要用第二行的

2021-08-28 16:27:14 1488 1

原创随机森林结果非常依赖样本划分

最近首次尝试使用Python sklearn包的随机森林进行回归分析，首先用了train_test_split函数进行训练集和测试集的划分，结果在调参的时候发现random_state这个参数对结果的影响非常大。官网给的说明如下：random_state：Controls the shuffling applied to the data before applying the split. Pass an int for reproducible output across multiple funct

2021-08-15 18:39:46 894 1

原创 Python并行计算使用共享内存

在使用并行计算的时候希望维护同一个变量，比如将高分辨率的全球数据（例如30m）重采样为0.25度的数据，全球（720,1440），原始数据是1010度的单个文件（存到单一文件太大了），全球的话就是1836=648个文件，如果用18个进程并行的话只能将这些文件分成36组，每个进程负责36个文件的重采样，保存到（720,1440）的数组，这样每个进程都会输出一个（720,1440）的数组，最后我们还需要将这些数据合并成一个数组，还是很麻烦的，这里给出共享内存的方法，让所有进程直接对共享内存中的数组进行读写，从而

2021-08-05 13:32:01 819

原创 Python成对样本t检验展示95%的置信区间

在R语言里可以很容易地使用t.test(X1, X2,paired = T)进行成对样本T检验，并且给出95%的置信区间，但是在Python里，我们只能很容易地找到成对样本T检验的P值，也就是使用scipy库，这里补充一点成对样本t检验的结果和直接检验两个样本的差值和0的区别是完全一样的from scipy import statsX1, X2 = np.array([1,2,3,4,5]), np.array([1.1,2,3,4,5])stats.ttest_rel(X1,X2)X3 =

2021-06-18 14:08:45 3988

原创解析matplotlib.colors.LinearSegmentedColormap中的字典颜色分割，自定义colorbar

实现colorbar自由还是得靠自己啊：官方文档：https://matplotlib.org/devdocs/api/_as_gen/matplotlib.colors.LinearSegmentedColormap.html?highlight=colors%20linearsegmentedcolormap%20from_list#matplotlib.colors.LinearSegmentedColormap.from_list第一眼看到这个cdict真的挺晕的，不过仔细分析就很容易看明白啦

2021-06-07 17:41:39 2583 1

原创 Python使用h5py读取hdf5: AttributeError: ‘slice‘ object has no attribute ‘encode‘

记录一下今天浪费了一个多小时的bug。今天要读取hdf5文件，百度了一个需要用到h5py这个包，下面是官方的user guide：https://docs.h5py.org/en/stable/quick.html本来以为很快就搞定了，结果上来就报错AttributeError: ‘slice’ object has no attribute ‘encode’ f = h5py.File(pathin + 'GFED4.1s_{}.hdf5'.format(i+1997),'r') a=f

2021-06-07 15:48:19 3256 9

原创 Modis数据下载及后处理

最近需要用大量的modis数据，这里记录一下最近踩的坑吧下载modis的地址：https://ladsweb.modaps.eosdis.nasa.gov/点击上面的find data就可以愉快找数据了。我一开始只知道上面这个网址，后面还会给别的选择。首先我想要MOD16A2和MOD43A3的全球数据，都是500m分辨率的，所以数据量还是很大的，如果直接下载这两个原始数据，发现hdf文件中有很多别的波段，比如MOD43A3竟然有28个波段，主要针对不同的电磁波波段，但是我真的需要的只是其

2021-04-30 15:02:24 2713 3

原创 python-gdal包导入报错：ImportError: libhdf5.so.6: cannot open shared object file: No such file or dire

最近用服务器遇到了一个大bug，在登录节点

2020-12-30 09:55:27 664

原创 gdal对栅格数据进行重投影以及重采样

最近要用服务器处理数据，但是服务器上没有arcpy，所以重投影以及重采样的任务只能交给gdal来做，这里记录一下我的代码：首先，我的目的是将land

2020-12-26 11:07:13 2875 2

原创 MODIS地表温度数据11A2的质量控制

地表温度是地球系统的重要参数，最近对地表温度数据进行了详细的了解，这里记录一下。下载就不说了：https://ladsweb.modaps.eosdis.nasa.gov/关于地表温度产品可以看

2020-12-09 10:53:08 9874 7

原创 gdal重采样深度讲解（前后不改变数据总量算法）（比arcgis好用）

从本科学习arcgis开始，就一直没有离开过重采样，arcgis里重采样方法大概有一下4种：NEAREST— The fastest resampling method; it minimizes changes to pixel values. Suitable for discrete data, such as land cover. BILINEAR— Calculates the value of each pixel by averaging (weighted for distance)

2020-11-22 20:03:42 1982

陌云漫步的博客