qq_40341531的博客

原创 现代地图和古代地图下载收集

1、中国自然资源部的网站 (标准地图服务系统)该网站主要是展示一些现代的标准的地图，有JPG、EPS两种数据格式，地图幅面分为64开、32开、16开、8开、4开、对开等。目前发布的标准地图包括：中国地图249幅，世界地图79幅，专题地图10幅。2、美国国会图书馆(美国国会图书馆） 世界最大的图书馆，共藏中国相关古地图1.2万幅，可在线浏览800余幅。提供高清资源的直接下载外，收藏有很多地区的古地图。3、斯坦福大学图书馆内的（大卫·拉姆齐地图中心）...

原创 安装各种python库的一般套路

之前沉迷用anaconda navigator安装，但近来发现这种方式虽需要人工操作少，但耗时且容易失败。于是重新选择用pip/conda命令安装，步骤如下。第一步，查看python版本。>python第二步，在python库中下载自己所需库，小技巧：在网址后面直接加上 #库的名称，即可自动定位库的安装包位置。第三步，下载好目标包之后，可放入anaconda安装文件下的Scripts文件夹中，然后再>cd D:\anaconda\Scripts>d:&g

原创 生成指定面范围的核密度分析图——Arcgis核密度分析

如果直接对一个点数据进行核密度分析，往往得到是一个矩形的栅格范围，而我们制图过程中通常希望能生成指定面范围的核密度结果。实际上仅需要设置几个小细节，就可以实现这个功能。下面以武汉市某类型的点数据为例，进行解释。关键在于对核密度分析工具中【环境】的设置。打开环境设置后，两个主要的操作，一个是将【处理范围】设置与目标面范围相同。再一个是设置【栅格分析】中【掩膜】与目标面范围相同 。就可以得到目标结果了。 ...

原创 pytorch训练神经网络——模型保存及加载

官方推荐使用：# 保存网络中的参数, 速度快，占空间少torch.save(model.state_dict(),PATH)对应的加载模型代码则为model_dict=model.load_state_dict(torch.load(PATH))示例#训练模型# Define modelclass TheModelClass(nn.Module): def __init__(self): super(TheModelClass, self)._.

原创 数据下载网站

国家地球系统科学数据中心地理信息专业知识服务系统提供1.25万地理数据，包括4个数据集，9个数据层。只能下载方格大小的数据。水系、地名点及注记、交通、居民地和设施。其中铁路包括：标准轨铁路、窄轨铁路等。公路包括：国道、省道、县道、乡道、其他公路、街道、乡村道路等，...

原创 Ubuntu彻底卸载pycharm的方法

1.查看配置信息位置首先在解压的pycharm-2020.2.1文件夹中，查看Install-Linux-tar.txt，找到配置信息的位置（下图中蓝色标识）。2.卸载安装文件首先找到安装文件所在的目录，cd 切换至其目录，然后sudo rm -rf pycharm-2020.2.13.删除配置信息依次cd切换至Pycharm2020.2的位置，然后rm 删除掉该用户使用记录，即能实现完全卸载。...

原创 栅格数据中出现的一个值对应多个格网的解决办法

通常从一些开源库下载的栅格数据的格式都是 一个value 对应多个count，但是我比较想要每个格网都有一个值的效果，处理方法如下：首先，用Arcmap打开栅格，然后 转换工具——栅格转点，成功之后，再 要素转栅格，注意此时字段应为 FID，设置相同的像元大小即可。...

原创 训练神经网络loss=nan——python检查数据中是否有nan

在训练神经网络的时候突然遇到了loss=nan的情况，经过一些检查，问题应该是出在输入数据中包含了nan特征。如下图，若每一行为一个数据，则第二、三、四行会导致nan。检查数据中是否含有nan的方法：1、pd.isnull().any()2、math.isnan()挑选出含nan的数据for i in range(len(x_data)): a = x_data[i] ...

原创 MAE 和 MSE

原创 神经网络输入数据预处理——数据标准化（归一化）——python

数据的标准化和归一化数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上。目前数据标准化方法有多种，归结起来可以分为直线型方法(如极值法、标准差法)、折线型方法(...

原创 等高线处理

接上文 获取高程数据并生成等高线 ，由上文所述方法获取了如下图的等高线。图中高亮的线在属性表中为同一行，可见这条线包含着不连续的几段。故需要进一步处理。利用Arcengine + C#，根据以下代码可以将这些不连续的线段分割开。在这里插入代码片...

原创 训练神经网络时如何设定学习率

1、学习率是什么？在训练期间权重更新的量被称为步长或“学习率”。具体而言，学习速率是在神经网络训练中使用的可配置超参数，其具有小的正值，通常在0.0和1.0之间的范围内。… learning rate, a positive scalar determining the size of the step.学习率，确定步长大小的正标量.如学习率为0.1（传统上常见的默认值）意味着每次更新权...

原创 获取高程数据并生成等高线

从地理空间数据云下载高程数据非常方便，码一波下载方法。高级检索选择数据集选择数据集为DEM高程数据，你想下载的数据产品。搜索，下载选择地区，地区选择主要有行政区域击搜索，点击如箭头所示图标即可下载。可见武汉共有五个瓦片，镶嵌合成。在ARCGIS中用DEM生成等高线在ARCGIS中用数字高程模型DEM生成、提取等高线的方法。首先打开ARCGIS，加入DEM数据。然后打开toolbo...

原创 分类与回归

分类（Classification）与回归（Regression）的区别在于输出变量的类型。通俗理解，定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。回归问题的预测结果是连续的，通常是用来预测一个值，如预测房价、未来的天气情况等等。一个比较常见的回归算法是线性回归算法（LR，Linear Regression）。回归分析用在神经网络上，其最上层不需要加上soft...

原创 Tensorflow

码一波学习链接：http://c.biancheng.net/view/1951.htmlhttp://www.tensorfly.cn/tfdoc/tutorials/mnist_tf.htmlhttps://www.cnblogs.com/baobaotql/p/11251375.htmlTensorflow是谷歌公司推出的开源深度学习框架，利用它我们可以快速搭建深度学习模型。Tens...

原创 Logistics分类

本文仅为自己的知识整理，若有侵权请联系本人。逻辑分类，是一种二分类法，能将数据分成0和1两类。logistic分类的流程比较简单，主要有线性求和，sigmoid函数激活，计算误差，修正参数这4个步骤。前两部用于判断，后两步用于修正。假设有一个n维的输入列向量 x，也有一个n维的参数列向量h， 还有一个偏置量b， 那么就可以线性求和得到z.此时因为z的值域是[−∞,+∞] ，是无法根据z来...

原创 随机森林

本文仅为自己学习记录，若有侵权及时联系本人。要说随机森林，必须先讲决策树。决策树是一种基本的分类器，一般是将特征分为两类（决策树也可以用来回归，不过本文中暂且不表）。构建好的决策树呈树形结构，可以认为是if-then规则的集合，主要优点是模型具有可读性，分类速度快。假设要选择一个优秀的量化工具来帮助我们更好的炒股，怎么选呢？第一步：看看工具提供的数据是不是非常全面，数据不全面就不用。第二步...

转载 傅里叶级数与傅里叶变换——理论和python实现

本文仅为自己把知识的掌握情况做一个整理记录，主要内容参照了一些阅读量比较高的文章，已经根据记忆补充了一些参考资料，若有遗漏请联系我补充。傅里叶分析可分为傅里叶级数（Fourier Serie）和傅里叶变换(Fourier Transformation)傅里叶级数傅里叶告诉我们，任何周期函数，都可以看作是不同振幅，不同相位正弦波的叠加。最前面黑色的线就是所有正弦波叠加而成的总和，也就是越来...

原创 高德地图POI数据爬取

本文主要实现根据城市名和分类名爬取对应的POI数据首先，需要在高德地图开放平台上注册账号，并且申请web服务的AK密钥。注册账号登陆后点击右上角的控制台 ->应用管理 -> 创建应用 -> 添加新key,注意选择web 服务，就得到了一个可以使用web服务的key密钥。一定是Web服务噢。然后将密钥复制下来，在后面的代码中使用。具体代码如下。获取的POI数据包括经纬度、...

原创 从OpenStreetMap获取城市数据及转为ESRI .shp数据的方法

一、根据城市名获取对应ID1、先从OSM官网搜索想要获取的城市名称，获取其在OSM中的标准格式2、进入 Overpss API，点击第二栏的Query -> Query and Convert Forms在Overpass API Query Form（即第一个查询框中）下方的输入框中输入代码：<osm-script> <query type="relati...