- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 GIS Experience （二）：ArcGIS实践操作问题集
1. 如何删除影像黑边？方法一：symbology，只在当前界面隐藏背景值0，实际仍存在。方法二：raster copy，新文件剔除掉背景值0。2. 如何给影像设定坐标系？方法一：catalog属性修改方法二：定义投影3. 如何实现栅格影像平面坐标与地理坐标相互转换？自定义坐标转换。设定转换参数，不同的方法会需要不同的参数（三参数、七参数）。栅格坐标转换。...
2019-08-31 01:52:39
1804
原创 Big Data （一）：Spark集群框架搭建【VM15+CentOS7+Hadoop+Scala+Spark+Zookeeper+HBase+Hive】
一、目的二、准备工作三、安装过程
2018-09-30 21:25:54
3012
2
原创 python爬虫（四）：分布式爬虫管理平台（Gerapy、Crawlab、Scrapydweb和SpiderKeeper）
文章目录前言1 Gerapy1.1 依赖获取1.2 部署流程2 Crawlab3 Scrapydweb4 SpiderKeeper参考资料如何快速搭建实用的爬虫管理平台前言的撒旦平台依赖缺点优点推荐指数1 GerapyGerapy：https://github.com/Gerapy/Gerapy依赖版本Django1.11.29（暂不支持1.x以上版本）Scrapyd1.2.11.1 依赖获取E:\Pytho
2020-08-20 11:50:59
5154
原创 python爬虫（三）：填坑Scrapy POST请求
文章目录2 formdata实例2 formdata实例（1）原始表单{ "token":"", "pn":0, "rn":10, "sdt":"", "edt":"", "wd":"", "inc_wd":"", "exc_wd":"", "fields":"title,projectnum", "cnum":"001", "sort":"{\"infodatepx\":\"0\",\"infoid\":\"1\"}", "ssort":"title", "cl":200
2020-08-18 16:39:27
626
1
原创 GIS Experience （十）：OSM数据获取
文章目录1 前言2 数据获取2.1 官网下载2.2 Overpass API下载2.3 Geofabrik下载3 OSM标准格式转SHP3.1 QGIS转换3.2 网页转换3.2 ArcGIS Editor参考资料1 OSM OpenStreetMap 获取城市路网数据及转为ESRI shp数据的方法2 OSM获取路网数据 （数据转换方法对比）1 前言2 数据获取2.1 官网下载1）搜索区域2）查看详情3）将图层放大至一定比例，即可直接将矩形区域导出为xml格式文件。备注：也可选择
2020-06-22 00:29:44
839
原创 python爬虫（二）：爬虫效率提升
文章目录1 需求描述2 方法说明2.1 多进程2.1.1 multiprocessing2.2 多线程3 实战记录4 参考资料1 需求描述爬取较多数据时如何避免用时过长，时下通用方式主要为多进程和多线程两种。2 方法说明2.1 多进程2.1.1 multiprocessing2.2 多线程3 实战记录4 参考资料multiprocessing — 基于进程的并行...
2020-05-29 18:08:10
464
原创 python爬虫（一）：正则表达式爬取网页文本
1 正则表达式修饰符描述re.I使匹配对大小写不敏感re.M多行匹配，影响 ^ 和 $re.S使 . 匹配包括换行在内的所有字符re.U根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.re.X该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解2 网页文本爬取最近在比比电子招投标交易平台浏览商机信息时发现，大部分的招标投信息都有相同的内容版块，但招投标内容格式又不尽相同。2.1 单页文本单页文本爬取可通
2020-05-17 18:50:11
5705
原创 GIS Experience （九）：高德室内地图建筑信息提取
文章目录1 需求描述2 方案详解3 流程实现1 需求描述目前很多地图服务商都提供有室内地图，本文意在通过一系列GIS数据处理，采集室内地图信息，并进行矢量化。2 方案详解ArcGIS提供地理配准和栅格矢量化处理模块，但栅格数据导入后存在的锯齿对最终的矢量化会产生极大的影响。经过一番试验，最终采集方案如下图所示：Created with Raphaël 2.2.0开始室内地图截取地理配准矢量化数据存储3 流程实现...
2020-05-12 10:37:18
1694
原创 python notes（一）：pandas合并多个excel文件
1 需求描述从指定文件目录下筛选出后缀格式为xlsx的文件，并借助pandas合并文件内容。2 代码实现import pandas as pddef excel_merge(): # ---------文件准备------------ # filenames = os.listdir(os.getcwd()) writer = pd.ExcelWriter(r'采购成交信息表.xlsx') excel_files = [] for filename in fi
2020-05-08 19:21:46
716
原创 algorithm（一）：直线经过的网格区域计算
文章目录1 背景描述2 方案详解2.1 前述2.2 分析3 具体实现1 背景描述 在一给定画布场景中，判断线段所经过网格。下图所示分别为线性递增和线性递减时，直线经过的网格路径。octave:1> plot([1.5,8.7],[0.4,9.4]);octave:2>grid on;octave:3> plot([1.5,8.7],[9.4,0.4]);octa...
2020-04-12 19:42:36
4129
3
原创 Front-End（一）：Vue项目构建及运行（Nodejs + IDEA + VScode）
111）检查npm及node版本，并查看npm安装位置C:\Users\Administrator>npm -v6.10.2C:\Users\Administrator>node -vv12.9.1C:\Users\Administrator>where npmE:\Nodejs\npmE:\Nodejs\npm.cmd2）在Nodejs安装目录下新建no...
2020-03-04 11:41:21
1011
原创 VScode（一）：C/C++ & MinGW & Code Runner
c_cpp_properties.json文件{ "configurations": [ { "name": "Win32", "includePath": [ "${workspaceFolder}/**" ], "defines": [ ...
2020-01-13 09:01:17
2597
原创 VScode（二）：ES6 & Nodejs & webpack & babel
目录1 VScode配置安装2 VScode调试ES62.1 扩展插件安装1 VScode配置安装自行前往VScode官网下载，并按提示进行安装。2 VScode调试ES62.1 扩展插件安装
2020-01-03 11:38:27
728
原创 GIS Experience （八）：ArcGIS Desktop GP服务发布及调用
目录1 数据类型2 创建GP模型2.1 ArcMap2.2 ArcGIS Pro3 发布GP服务3.1 ArcMap3.2 ArcGIS Pro4 调用GP服务1 数据类型2 创建GP模型2.1 ArcMap1）在本地项目文件夹中创建工具箱2）在工具箱中创建模型3）编辑模型，直接将ArcToolbox中相关工具拖拽到其中即可（以克里金插值进行举例说明）2.2 ArcGIS Pr...
2019-09-01 23:59:11
488
原创 Version Control：Git
目录前言1 GitHub2 Git GUI2.1 Create New Repository2.2 Clone Existing Repository2.3 Open Existing Repository2.4 Remote and Merge2.4.1 Remote2.4.2 Merge3 Git Bash前言Git的使用主要有三种形式，Cmd、Bash和GUI。Git主要的功能有两点，一...
2019-09-01 23:55:58
290
原创 GIS Experience （七）：ArcGIS Server 动态图层发布调用图解
目录1 前言1.1 简介1.2 适用场景2 动态图层2.1 共享地图服务2.2 动态工作空间添加2.2.1 企业级数据库2.3 Server端设置2.3.1 矢量数据2.3.2 栅格数据3 参考资料1 前言1.1 简介ArcGIS Server将GIS资源以服务的方式发布，能够让更多的人在Web上浏览、使用。不过，诸如气象、环保等方面的信息是实时变化的，按照之前常规的方法，我们先要将最新获得...
2019-08-02 09:37:05
667
原创 GIS Experience （五）：ArcGIS Enterprise 10.6 （Windows）安装及部署图解
ArcGIS Enterprise 10.6 （Windows）安装及部署图解1 本地环境配置1.1 机器名修改1.2 安装和配置IIS2 ArcGIS for Server2.1 安装 ArcGIS for Server2.2 配置 ArcGIS for Server3 ArcGIS Data Store3.1 安装 ArcGIS Data Store3.2 配置 ArcGIS Data Sto...
2019-07-12 11:29:32
3444
7
原创 GIS Experience （四）：ArcGIS Desktop直连PostgreSQL安装及配置图解（windows）
目录1 PostgreSQL 11.0安装1 PostgreSQL 11.0安装软件下载入口
2019-07-08 10:20:25
769
原创 GIS Experience （三）：Cesium本地影像与地形服务发布
1. 数据切片2. Web应用服务器安装与配置3. 本地影像与地形服务发布Cesium本地影像与地形服务发布的文件目录如下图所示，image_tiles与terrain_tiles分别为DOM切片数据和DEM切片数据。test_Cesium.html源码如下：<!DOCTYPE html>&am
2018-12-11 15:26:20
4600
原创 Big Data （二）：Spark入门教程
一、准备工作详细内容见《 Spark处理框架搭建【VM15 + CentOS7 + Hadoop2.7.2 + Scala2.12.7 + Spark2.3.1】》二、示例运行在 ./examples/src/main 目录下执行 Spark示例程序，主要包含 Scala、Java、Python、R 等不同的语言版本。[root@master hadoop-2.7.2]# cd /opt/...
2018-10-19 00:18:26
1920
原创 GIS Experience （一）：GeoServer安装及使用教程
GeoServer安装及使用教程前言GeoServer的是一个基于Java的软件，它允许用户查看和编辑地理空间数据，使用开放地理空间联盟（OGC）提出的开放标准，为地图创建和数据分享提供了强大的便利性。GeoServer是OpenGIS Web 服务器规范的 J2EE 实现，利用 GeoServer 可以方便的发布地图数据，允许用户对特征数据进行更新、删除、插入操作，通过 GeoServer...
2018-10-10 14:27:48
740
原创 后台管理系统环境配置【JDK+ideaIU+SVN+MAVEN+MySQL】
一、软件需求1.1 SVN/GIT：代码环境管理1.2 Maven、ideaIU和JDK： JAVA包管理工具、开发环境及IDE1.3 Navicat：数据库管理二、JDK安装流程2.1 安装包下载http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html2.2 安装部署一键安装，安...
2018-09-25 11:17:04
472
原创 python踩坑日记
利用CMD命令进行Python第三方库的安装及更新待安装完成Python3.X和Python2.7后，菜鸟迫不及待准备上手Pycharm以便大展拳脚，然而各种第三方库无法直接成功安装，没办法，无奈选择老办法。1.Pip安装确认%路径确认%C:\Users\Administrator>cd E:\Python\Scripts%Pip安装情况确认%C:\Users\Admini...
2018-08-09 15:58:08
427
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人