- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 最方便的MODIS数据下载
但是可以发现如果想要处理非常多的数据，还是要花费不少时间的，还好NASA给了我们另一个可以直接对MODIS数据进行预处理的网站：https://appeears.earthdatacloud.nasa.gov/具体方法可以参考我前面的一篇文章：https://blog.csdn.net/qq_39085138/article/details/116302600。传统的方式通过访问NASA的数据中心：https://ladsweb.modaps.eosdis.nasa.gov/
2024-08-22 10:22:40
805
原创 Python构建自己的函数包
大家使用Python经常会根据自己的目的写一些常用的函数，来实现代码复用，但是如果不想在每个代码中都把函数写一遍，就需要创建自己的包，这样每次import就好了，用起来非常方便，有时只有自己用的话在本地随便写写就好了，如果要共享给他人，就需要传到pypi，虽然网上有很多教程了，但是我还是踩了很多坑，下面就来介绍一下到底该怎么实现吧。构建自己的包注册账号首先需要去pypi（https://pypi.org/）和testpypi（https://test.pypi.org/）分别注册账号，pypi是最终发
2022-04-09 15:25:47
1669
原创 使用Python GDAL小工具实现栅格拼接（替代arcgis）
栅格拼接最初使用的是arcgis，但是arcgis拼接每次只能拼接单张，拼接之后还要自动建立投影金字塔，所以如果拼很多图像并且最终的图像很大，就会非常慢（并不知道如何拼接可以不建立投影金字塔），所以就在网上搜了搜Python gdal的解决方法，大概分成两种吧。第一种是比较手动的，需要自己创建tif，指明行列分辨率和投影信息，最后将矩阵塞进去，这种方法实在是太原始了…第二种就是自动拼接，使用gdal的小工具：gdal_merge.py，下面是我学习后自己写的函数，基本上可以实现简单的arcgis中Toolb
2021-09-24 16:40:15
2646
原创 Python画图使用latex设置上下标偏移量
在画图的时候经常需要添加上标或者下标，最常用的方法就是使用latex进行，之前就直接百度了代码复制了，但是发现有时候latex打印出来的字体和我原本的字体并不一样，于是就去找了一下原因。首先当我们进行打印上标时，网上可以找到一下两种写法：plt.text('${ha^{-1}}$')plt.text('$\mathregular{ha^{-1}}$')这里mathregular其实是告诉电脑这里要用和非latex内容相同的字体，所以如果大家希望latex打印出来的字体和默认字体一样就需要用第二行的
2021-08-28 16:27:14
1608
1
原创 随机森林结果非常依赖样本划分
最近首次尝试使用Python sklearn包的随机森林进行回归分析，首先用了train_test_split函数进行训练集和测试集的划分，结果在调参的时候发现random_state这个参数对结果的影响非常大。官网给的说明如下：random_state：Controls the shuffling applied to the data before applying the split. Pass an int for reproducible output across multiple funct
2021-08-15 18:39:46
1040
1
原创 Python并行计算使用共享内存
在使用并行计算的时候希望维护同一个变量，比如将高分辨率的全球数据（例如30m）重采样为0.25度的数据，全球（720,1440），原始数据是1010度的单个文件（存到单一文件太大了），全球的话就是1836=648个文件，如果用18个进程并行的话只能将这些文件分成36组，每个进程负责36个文件的重采样，保存到（720,1440）的数组，这样每个进程都会输出一个（720,1440）的数组，最后我们还需要将这些数据合并成一个数组，还是很麻烦的，这里给出共享内存的方法，让所有进程直接对共享内存中的数组进行读写，从而
2021-08-05 13:32:01
904
原创 Python成对样本t检验展示95%的置信区间
在R语言里可以很容易地使用t.test(X1, X2,paired = T)进行成对样本T检验，并且给出95%的置信区间，但是在Python里，我们只能很容易地找到成对样本T检验的P值，也就是使用scipy库，这里补充一点成对样本t检验的结果和直接检验两个样本的差值和0的区别是完全一样的from scipy import statsX1, X2 = np.array([1,2,3,4,5]), np.array([1.1,2,3,4,5])stats.ttest_rel(X1,X2)X3 =
2021-06-18 14:08:45
4244
原创 解析matplotlib.colors.LinearSegmentedColormap中的字典颜色分割，自定义colorbar
实现colorbar自由还是得靠自己啊：官方文档：https://matplotlib.org/devdocs/api/_as_gen/matplotlib.colors.LinearSegmentedColormap.html?highlight=colors%20linearsegmentedcolormap%20from_list#matplotlib.colors.LinearSegmentedColormap.from_list第一眼看到这个cdict真的挺晕的，不过仔细分析就很容易看明白啦
2021-06-07 17:41:39
2930
1
原创 Python使用h5py读取hdf5: AttributeError: ‘slice‘ object has no attribute ‘encode‘
记录一下今天浪费了一个多小时的bug。今天要读取hdf5文件，百度了一个需要用到h5py这个包，下面是官方的user guide：https://docs.h5py.org/en/stable/quick.html本来以为很快就搞定了，结果上来就报错AttributeError: ‘slice’ object has no attribute ‘encode’ f = h5py.File(pathin + 'GFED4.1s_{}.hdf5'.format(i+1997),'r') a=f
2021-06-07 15:48:19
3455
9
原创 Modis数据下载及后处理
最近需要用大量的modis数据，这里记录一下最近踩的坑吧下载modis的地址：https://ladsweb.modaps.eosdis.nasa.gov/点击上面的find data就可以愉快找数据了。我一开始只知道上面这个网址，后面还会给别的选择。首先我想要MOD16A2和MOD43A3的全球数据，都是500m分辨率的，所以数据量还是很大的，如果直接下载这两个原始数据，发现hdf文件中有很多别的波段，比如MOD43A3竟然有28个波段，主要针对不同的电磁波波段，但是我真的需要的只是其
2021-04-30 15:02:24
2935
3
原创 python-gdal包导入报错：ImportError: libhdf5.so.6: cannot open shared object file: No such file or dire
最近用服务器遇到了一个大bug，在登录节点
2020-12-30 09:55:27
723
原创 gdal对栅格数据进行重投影以及重采样
最近要用服务器处理数据，但是服务器上没有arcpy，所以重投影以及重采样的任务只能交给gdal来做，这里记录一下我的代码：首先，我的目的是将land
2020-12-26 11:07:13
3158
2
原创 MODIS地表温度数据11A2的质量控制
地表温度是地球系统的重要参数，最近对地表温度数据进行了详细的了解，这里记录一下。下载就不说了：https://ladsweb.modaps.eosdis.nasa.gov/关于地表温度产品可以看
2020-12-09 10:53:08
11172
7
原创 gdal重采样深度讲解（前后不改变数据总量算法）（比arcgis好用）
从本科学习arcgis开始，就一直没有离开过重采样，arcgis里重采样方法大概有一下4种：NEAREST— The fastest resampling method; it minimizes changes to pixel values. Suitable for discrete data, such as land cover. BILINEAR— Calculates the value of each pixel by averaging (weighted for distance)
2020-11-22 20:03:42
2280
原创 星野摄影入门（全流程）
前几天跟着大佬们拍摄了英仙座流星雨，回到家中自己处理了一下照片，感觉星野摄影也不是那么难，接下来我就从最开始根据自己的理解和大佬们的经验向大家介绍一下星野摄影的全流程，我也是刚入门，可能有很多讲的不对的地方。大概分为三个步骤：1. 前期准备；2. 野外拍摄；3. 后期处理前期准备：1. 单反（微单）相机（相机还是比手机强很多），并且要看看自己的相机能不能间隔拍摄，我用的是sony的6300（预算够的话还是全幅的得劲），可以用间隔拍摄这个app来进行操作，新出的机子好像内置间隔摄影这个功能。佳能和
2020-08-16 20:54:16
5685
原创 二维变量数量分布图：高斯核函数计算核密度估计Gaussian Kernel Density Estimation(KDE) & 六边形分箱图
最近需要可视化统计一个二维变量的数量分布图，网上搜了一下大概有一下两种方法：1. 核密度估计图，通过核函数来进行密度估计2. 六边形分箱图（Hexagonal Binning），直接计算不同bin中的点的数量首先来说一下核密度估计图具体什么是核密度估计建议大家去B站搜索一下，讲的很清楚，大概就是需要一个核函数，对每一个样本点进行叠加，最后再归一化的一个过程，这个过程和带宽有很大的关系（以高斯函数为例，带宽就是方差）。我主要用Python的scipy.stats.gaussian_kde函
2020-08-04 21:36:55
20189
1
原创 基于anaconda安装arcpy，并在spyder（jupyter）中使用（超详细攻略）
之前在自己的笔记本上安装成功过，这次在台式机上安装费了不少功夫，记录一下！1. 安装arcgis（这个就不详述了）2. 因为arcgis是基于32位的Python2.7，所以首先把conda设置成32位（注意，一下操作均在anaconda prompt里，不要在navigator里面）set CONDA_FORCE_32BIT=1 //切换到32位set CONDA_FORCE_32BIT= // 切换到64位（conda info 查看当前操作系统的位数）3. 创建新的p...
2020-07-14 11:20:22
4617
9
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人