ZYH@Smart3S-CSDN博客

原创 Python突破API限制爬取交通态势数据+GIS可视化（超详细）

一、需求：爬取交通态势API，将数据可视化为含有交通态势信息的矢量路网数据。二、使用的工具： Python IDLE、记事本编辑器、ArcGIS 10.2、申请的开发者KEY（免费）。三、主要思路：本文的思路是使用Python的requests模块爬取API的返回信息，将返回的信息数据（JSON），通过代码解析的方式存入CSV文件中，再导...

2019-10-31 18:01:42 8276 60

原创 Python突破高德API限制完全爬取POI兴趣点数据

一、背景爬取POI数据，基本上是个老生常谈的话题了，现在市面上随处可见各路大神制作的获取POI数据的工具，但是当我将从高德地图中实际获取的POI数据与工具爬取的POI数据进行对比之后发现，市面上流行的工具并不能爬取所有的POI数据，获取的POI数据的数量往往与实际的POI数量相差甚远。博主闲来无事，尝试对青岛市带有“厕所”关键字的POI进行实验检索，注意到若...

2019-02-28 22:08:20 21327 41

原创一种标准地图服务转矢量Shapefile方法

现在，几乎所有的中文期刊都对论文中的地图配图做出以下严格规定：接国家“关于开展问题地图专项治理的通知”,请从自然资源部标准地图服务网获取中国地图、世界地图及专题地图。并在文中或图下注明下载地址及审图号。这令众多科研同志苦不堪言，特别是很多同志在论文排版时才被要求做此工作，时间较为紧张。常见的解决方法有以下几种：（1）找到一个与标准地图服务完全匹配的矢量数据（如shapefile等），然后在文中声明标准地图的审图号即可（不推荐这种方式，因...

2020-08-30 16:49:37 24023 19

原创 Python批量爬取高德AOI边界数据+GIS可视化（超详细）

一、需求爬取高德地图的AOI区域（如下）并进行可视化存储，且保留AOI的属性信息。二、使用的工具： Python IDLE、记事本编辑器、ArcGIS 10.2、申请的高德开发者KEY（免费）。三、实现分析及思路博主在浏览博客时得到了一个链接，能够根据aoi编号检索aoi信息：https://ditu.amap.com/...

2019-03-17 13:30:46 35841 40

原创 Python中numpy模块功能整理（下）：矩阵的运算、重构、排序、广播性质、过滤、Pandas转换

一、模块准备：import numpy as np二、矩阵运算： # 矩阵准备a=np.array([[1,2], [3,4]])b=np.array([[5,6], [7,8]])1、矩阵的加法运算：两矩阵对应元素相加#方法1a+b#方法2np.add(a,b) 结果： 2、矩阵的减法运算：两矩阵对...

2019-02-20 21:10:09 1982

原创 Python中numpy模块功能整理（上）：矩阵的创建、初始化、元素类型、数据提取与形状管理

一、模块准备：import numpy as np二、创建数组（矩阵）：1、通过手动输入的方式创建：#创建一维数组x=np.array([1,2,3,4,5])#创建二维数组y=np.array([[1,2],[22,2],[11,8]]) 结果: 2、从文件中读取：以创建的test.txt为例：读取代码：#以逗...

2019-02-20 16:59:38 25823 1

原创关于Python3中相对路径的表示

在Python3中，相对路径的表示方式与Python2不同：（注意点的个数）“ / ”：表示根目录，在windows系统下表示某个盘的根目录，如“D:\”；“ ./ ”：表示当前目录；（表示当前目录时，也可以去掉“./”，直接写文件名或者下级目录）“ ../ ”：表示上级目录。测试：在PyCharm中创建一个Python...

2019-02-03 18:31:39 6483

原创 Python--Django开发速成（3）

本文主要讲解在的Python--Django开发速成（2）基础上添加博客文章修改功能，主要思路如下：（1）每个博客都是有id的，id是由数据库自动生成的，而id有一个特点，就是没有0值。（2）若要修改已有的文章，那么可以读取其id，从而后取其他内容。（3）若要新建文章，则视id值为0，从而实现新建文章与编辑文章共用一个视图html而不使程序出错。一、程序代码：1...

2018-11-11 21:17:14 489

原创 Python--Django开发速成（2）

在Python--Django开发速成（1）中，讲解了一个简单粗暴的Django实例，本以一个简单的博客网站为例，讲解一个比较完整的（含有html视图以及数据库的）Django实例。注意，本实例使用的是Django自带的SQLite3数据库，并使用SQLiteStudio进行数据内容的编辑，若要使用MySQL等其他数据库，请参考Django官网：https://...

2018-11-10 21:42:01 616

原创 Python--Django开发速成（1）

Django是一个开放源代码的Web应用框架，由Python写成。采用了MVC的框架模式，即模型M，视图V和控制器C。最近项目需要用到，但是无奈基础较差时间较紧，于是采取了速成的方式...... 本文是我作为一个小小小小白，总结的Django开发的一个简单粗暴的入门流程。注：环境搭建的过程本文省略，本文使用的是Django2.1.3版本，开发工具使用...

2018-11-09 21:27:07 545

原创 Word处理代码文本之删除注释与空行

一、需求：现从编程软件中粘贴了一堆代码至word文档中，内容有百页之多，如下图：现在想要对代码内容进行缩减，需要进行以下操作：（1）删掉注释。（2）删除空行。二、实现思路：注意到代码注释的文本的特点是开头为“//”，考虑到可以使用通配符来进行文本描述从而实现替换。而空行的特点是由连续的两个换...

2018-11-02 10:25:13 6642 2

原创 Python爬虫时翻页等操作URL不会改变的解决办法--以爬取携程景点点评信息为例

一、需求：需要爬取携程的五四广场景点主页的用户点评信息。二、爬虫时可能遇到的问题：评论信息虽然可以在该页的源代码中获取到：但是存在许多问题，例如：1、评论翻页、修改评论排序方式（智能排序、有用数排序、按时间排序）并不会改变当前页的URL。2、使用Fiddler等的抓包工具，虽然能够找到该网页用来进行评论数据传输的文件AsynCommentView的URL...

2018-10-28 14:43:52 14237 3

原创 Python数据预处理知识点总结

数据预处理主要包括数据清洗、数据集成、数据变换和数据规约四个部分。1、数据清洗：删除原始数据集中的无关数据、重复数据、平滑噪声数据，处理缺失值、异常值等。数据清洗的步骤：（1）缺失值处理（通过describe与len直接发现、通过0数据发现）（2）异常值处理（通过散点图发现）一般遇到缺失值，处理方式为：删除、插补、不处理插补的方式主要有...

2018-10-27 22:13:16 5084

原创 Python爬取携程旅游行程信息+GIS可视化

一、需求：爬取携程旅行网的“北京推荐行程”首页的各个行程文章，将各个行程所包含的景点信息提取出来，并导入ArcGIS进行GIS可视化。二、爬取思路：爬取北京推荐行程主页的各个文章的URL，然后通过该URL爬取出行程文章的数据，最后进行信息提取，得到行程景点的相关信息。三、编写代码：import urllib.requestimport...

2018-10-26 21:58:57 5843 5

原创浅谈ArcGIS移动开发中数据的查询检索方式

众所周知，在GIS中，查询检索分为许多种，如的属性查询，通过SQL语句查询属性表然后得出符合条件的空间要素结果，还如基于几何要素的几何查询，通过一个由用户绘制的或图中要素轮廓的几何图形，通过给定空间关系查询出与几何图形形状相关联的空间要素结果。在ArcGIS Runtime SDK for Android中，同样也有类似的分类，但也有些许的不同：一、根据查询作用对象分类...

2018-08-08 18:30:16 1724

原创浅谈ArcGIS移动开发中的GIS数据源的加载

一、在线数据源 ArcGIS在线的数据源有很多种，包括地图服务、要素服务、影像服务等，同时，ArcGIS Runtime SDK for Android中也提供了各种相应的图层来加载在线数据，具体如下：图层类型 2D/3D Time-aware Online/ offline 数据源 ArcGIS map image layer ...

2018-07-21 13:26:30 1188

原创浅谈ArcGIS移动开发中的基本变量：Graphic、Geometry、Feature、GraphicsOverlay、FeatureLayer、FeatureTable、Symbol

一、Graphic 即图形，包含Geometry几何、attributes属性（可选，通常使用 java.util.Map创建）和Symbol符号。二、GraphicsOverlay 可译为图形覆盖（物），用于容纳要显示在MapView上的临时图形，如查询或分析的结果，高亮，变化的事物、绘制的图形等，GraphicsOverlay由Graphic图形组成，因此也...

2018-07-19 21:33:26 4267 1

原创浅谈ArcGIS移动开发中的基本变量：MapView、Map、Layers、GraphicsOverlay

一、MapView MapView，可译为地图视图或地图窗口，顾名思义，是在Android布局中用来显示地图（ArcGISMap）的控件，允许用户与地图进行交互。它使用了MVC 架构，实现了 Map 和 MapView的分离，可使用Viewpoints控制可视范围，也通过 Touch事件和监听实现与内容的交互，如图层或图形的识别（identify），可参照：ArcGIS Runt...

2018-07-19 20:41:35 3601

原创 Python语法速成（下）

一、函数1.函数的作用域：i=10def func(): j=10 j+=1print(j) #读不出来，因为j是局部变量i=10def func(): global j #强制把j设置为全局变量 j=10 #注意要赋值 j+=1 print(j)func()2.函数的定义和调用#定义def abc(): ...

2018-07-10 22:40:00 321

原创 Python语法速成（上）

一、输出print("输出语句内容")二、变量使用a=5 #整型b=5.2 #浮点型c="床前明月光" #字符串三、类数组Python没有数组的概念，但有类似的东西存在1.列表声明：abc=["my","you"] 调用：>>> abc[0]'my' 2.元组声明：cde=("床

2018-07-09 21:52:22 589

Smart3S的博客