-Y-Q-Q--CSDN博客

原创 paython basemap库 readshapefile函数因shp文件编码格式问题导致UnicodeDecodeError解决方案

原因是readshapefile默认的shp文件编码为’utf-8’，如果读入的shp文件不是该编码，就会出现这个报错。利用default_encoding参数，修改为正确的编码格式就行。

2024-06-13 21:27:18 349

原创尝新学术版ChatGPT！中科院chatGPT学术优化

1，安装依赖配置 requirements. txt 文件的时候报错，提示找不到requirements. txt 文件路径。2，最后运行python main.py的时候报错KeyError: ‘serialized_input’，参考。即通过执行pip install --upgrade gradio，将gradio升级到3.28.3。使用一段时间后再来反馈使用心得！执行过程中遇到了如下两个小问题。

2023-05-06 20:13:23 2143 1

原创 ArcGIS下的影像去除NaN值或NoData值的超级简单方法

ArcGIS将背景值和NoData设为空，有时候会失效，没用每次都在MATLAB里面把NaN转成-9999再回到ArcGIS制图，甚为麻烦！直到发现了这篇文章！简单实用https://zhuanlan.zhihu.com/p/93672545关键信息截图ArcGIS操作实例...

2022-01-22 15:46:33 13776 13

原创 DNN模型loss一直为nan

DNN模型loss一直为nan划重点：一直为nan训练Deep Neural network (DNN) 模型，发现loss一直是nan。网上查了很多方法都没用。最后发现，是自己处理数据的时候NaN值没删干净…就离谱… 我在spyder里面看了一万遍x和y都没检查出来nan如果，你也是loss一直为nan，而非训练过程中突然变nan，和我一样再仔细检查下原始输入数据吧 = =啊，又浪费了一晚上的宝贵时光！还是大过节的！...

2021-12-24 21:53:14 721

原创血泪教训——sklearn.model_selection的KFold中shuffle参数的重要性

血泪教训——sklearn.model_selection的KFold中shuffle参数的重要性最近用python跑了几个集成学习模型，做交叉验证的时候发现一个问题，利用train_test_split进行交叉验证结果很哈好；而利用KFold进行十折交叉验证的时候，结果很差。多番探索后，发现是KFold中**shuffle**参数导致的。sklearn.model_selection中的KFold函数共有三个参数：n_splits : 整数，默认为5。表示交叉验证的折数（即将数据集分为几份），

2021-04-22 16:53:29 3777 4

原创机器学习【样本不均衡问题】解决方案

机器学习【样本不均衡问题】解决方案改变数据，改变loss函数，改变模型结构，三个不同的角度https://www.cnblogs.com/charlotte77/p/10455900.html收缩损失https://blog.csdn.net/gzq0723/article/details/83140616

2021-03-06 17:40:31 189

原创 Landsat系列卫星BQA波段含义

Landsat BQA波段涵义https://www.usgs.gov/core-science-systems/nli/landsat/landsat-collection-1-level-1-quality-assessment-band?qt-science_support_page_related_con=0#qt-science_support_page_related_con

2021-01-26 15:40:57 4111

原创上传本地csv到google colab

三种上传本地csv到google colab的方法：https://towardsdatascience.com/3-ways-to-load-csv-files-into-colab-7c14fcbdcb92

2020-12-12 18:07:25 1619

原创基于Google earth engine python API做基于影像的定量反演——步骤及问题总结

基于Google earth engine python API做基于影像的定量反演——步骤及问题总结一、背景用GEE做定量遥感反演，基于GEE的python API，主要实现三大块内容：站点数据和遥感影像匹配；利用机器学习/深度学习模型进行匹配数据的训练；将训练的模型用于GEE上的影像数据，实现参数反演结果成图。针对内容三实现的基本步骤，以及自己在过程中的问题进行总结。二、具体步骤和问题代理服务器设置，及initialize筛选影像，filter the image注意：

2020-11-21 20:17:23 1494 2

原创哨兵系列卫星介绍——总结与对比

哨兵系列卫星介绍详见以下博主的文章：https://zhuanlan.zhihu.com/p/158011801?utm_source=qqhttps://blog.csdn.net/micro_wyx/article/details/100099674来自链接一的简单总结：主要任务：发射时间：

2020-11-09 18:03:51 2741 1

转载 Landsat系列数据级别详解

Landsat系列数据级别详解具体参照此文：https://www.cnblogs.com/icydengyw/p/12056211.html一、Landsat Collection 1Landsat Collection 1 包括了来自Landsat 8 Operational Land Imager (OLI)/Thermal Infrared Sensor (TIRS), Landsat 7 Enhanced Thematic Mapper Plus (ETM+), Landsat 4-5 Th

2020-11-08 11:21:09 13153 5

原创 Google Earth Engine——windowns下搭建GEE本地python开发环境——Anaconda Spyder版本

Google Earth Engine——windowns下搭建GEE本地python开发环境——Anaconda Spyser版本之前已经写过一篇《Google Earth Engine——windowns下搭建GEE本地python开发环境》。但是由于自己比较习惯用Spyder，所以又尝试了一下Anaconda下Spyder版的GEE 本地python开发环境搭建。整体来说，在anaconda中配置GEE开发环境更简便。主要分为两大步骤一、在ananconda promot中创建GEE虚拟环境并

2020-07-18 20:30:54 881

原创 Google Earth Engine——windowns下搭建GEE本地python开发环境

Google Earth Engine学习系列之windowns下搭建GEE本地python开发环境主要参考知乎大神的步骤：https://zhuanlan.zhihu.com/p/40319581但是安装过程中有两次报错1. 错误一安装鉴权验证依赖库，输入命令 pip install pyCrypto 报错： Microsoft Visual C++ 14.0 is required.1.1 原因：在CMD命令行用 pip.exe install pycrypto 安装PyCrypt

2020-07-14 18:16:30 2380

原创分位数回归

1.分位数回归详细版https://www.jianshu.com/p/4d6f77588b9a简洁版https://blog.csdn.net/jesseyule/article/details/952471552.分位数回归森林https://geek-docs.com/machine-learning/regression-analysis/quantile-regression-forests.html#i-2

2020-06-30 10:02:54 796 1

转载 MATLAB 年积日（DOY）与日期（年月日）相互转换——matlab自带函数

MATLAB 年积日（DOY）与日期（年月日）相互转换1.日期转年积日利用函数 day 实现。% 先利用datetime函数任意定义一个日期t=datetime(2018,04,17);% 利用day函数将日期转化为DOYdoy=day(t,'dayofyear')代码运行结果为：doy =1072.年积日转日期datetime(year, month,day)这种用法中...

2020-03-24 14:32:33 14816 5

转载 “端到端”是什么意思

1.传统机器学习VS深度学习相对于深度学习，传统机器学习的流程往往由多个独立的模块组成，比如在一个典型的自然语言处理（Natural Language Processing）问题中，包括分词、词性标注、句法分析、语义分析等多个独立步骤，每个步骤是一个独立的任务，其结果的好坏会影响到下一步骤，从而影响整个训练的结果，这是非端到端的。而深度学习模型在训练过程中，从输入端（输入数据）到输出端会得到一...

2020-03-16 21:54:57 4778

原创 Geohash原理及精度

Geohash原理及精度Geohash原理：参见 https://www.jianshu.com/p/1ecf03293b9aGeohash精度：参见 https://blog.csdn.net/xxxx000/article/details/92771460

2020-03-10 11:18:14 477

原创 VIIRS-NPP夜光遥感数据下载

VIIRS-NPP夜光遥感数据下载一、数据简介1.NPP在过去几年里，NASA运行了很多卫星系统，包括著名的EOS系统。现在，NASA正在构建一个新的卫星系统继续全球环境观测，其中重要的卫星系统是NPOESS Preparatory Project (简称NPP，也有资料显示是National Polar-orbiting Partnership的简称)，由NASA、NOAA和美国空军共同研...

2020-03-05 17:27:19 20070 25

原创因果推断

因果推断模型综述最近在读一篇论文：Runge, J., Bathiany, S., Bollt, E., Camps-Valls, G., Coumou, D., Deyle, E., … & van Nes, E. H. (2019). Inferring causation from time series in Earth system sciences. Nature commu...

2020-03-03 21:10:21 4462

转载赖兴巴赫共同因果原理：相关性与因果性

转自：http://www.360doc.com/content/17/0802/21/9824753_676198324.shtml相关性与因果性过去，统计学家认为一个系统所含的所有信息都可以用其变量间的统计相关性来表示。然而，因果信息的概念实际上已经超出了统计相关性。例如我们可以比较这两句话：“汽车的数量与空气污染量相关”和“汽车导致空气污染”，前一句是统计陈述，后一句为因果陈述。在统计...

2020-03-03 18:55:20 865

原创 ArcGIS裁剪时警告 warning001003:Datum conflict between input and output

问题描述ArcGIS进行clip操作的时候警告：warning001003:Datum conflict between input and output。原因问题在于，输入和裁剪范围的坐标系不同。即Input raster和output extent两个图层的坐标系不同。解决方案统一坐标系统，具体方法很多。这里介绍一种。右键ArcMap中间空白区域，选择Data frame pro...

2019-07-12 16:13:38 16027

原创统计学方法学习总结

统计学知识学习记录一些做实验或者读论文接触到的统计学方法。一、标准差椭圆对点的方向和分布进行分析的一种经典算法。详见： https://blog.csdn.net/allenlu2008/article/details/47780405...

2019-07-11 11:40:38 731

原创 ENVI给tif影像添加地理坐标

给tif影像添加地理坐标我们经常会遇到有些tif格式的图像没有地理坐标，或者地理坐标信息错误，需要更改。在网上有一些手动添加的方法，比如自己编写同名tfw文件的方法（http://www.360doc.com/content/14/1009/19/14129723_415594545.shtml），但有些时候这些方法会失灵，即tif文件无法自动关联上同名的tfw文件，因此无法获取tfw中所包含...

2019-07-10 15:38:49 21067 3

原创 Python sklearn机器学习各种评价指标——Sklearn.metrics简介及应用示例

Python Sklearn.metrics 简介及应用示例利用Python进行各种机器学习算法的实现时，经常会用到sklearn（scikit-learn）这个模块/库。无论利用机器学习算法进行回归、分类或者时聚类，评价指标，即检验机器学习模型效果的定量指标，都是一个不可避免且十分重要的问题，因此，结合scikit-learn主页上的介绍，对常用的评价指标及其实现、应用进行简单介绍。ht...

2019-05-13 16:03:14 102798 3

原创影像出现条带斜纹式的乱码——reshape操作中按行与按列取数据的差异

影像出现条带斜纹式的乱码如图目前在两种情景中，出现了上图及类似上图的结果：Case1：ENVI打开遥感影像，并手动添加头文件，编辑图片行列号（samples and lines），当输入的行列号与图像实际的不符时，会出现类似上图的情况。Case2：做反演的时候，矩阵变向量输入模型，输出向量再变回矩阵时，reshape使用错误时，出现上图结果。如，对于输入的矩阵，用以下代码生成输入到模型...

2019-05-07 09:37:25 692 1

原创定量遥感反演时的一些数据预处理

大噶

2019-04-15 16:32:42 2916 2

Yqq19950707的博客