- 博客(394)
- 资源 (13)
- 收藏
- 关注
RSS订阅翻译 [scrapy] scarpy+xpath与css：抓取页面内容
文章目录常用方法cssxpathpythoncsscss选择器举例xpath语法示例错误合集在scrapy中使用xpath、css常用方法css::text //提取出文本::attr(href) //属性有hrefxpath# text()获取文本内容"/..../text()" #获得文本内容# contains(属性，属性值) 包含"//span[ contains(...
2019-02-02 14:49:26
1275
原创 [scrapy] pycharm开发scrapy - scrapy项目目录介绍
scrapy工程文件介绍【scrapy工程文件介绍】ArticleSpiderArticleSpiderSpiders 存放具体某个网站的爬虫__init__.pyjobbole.py 爬虫文件，使用命令scrapy genspider jobbole blog.jobbole.com生成__init__.pyitems.py 数据保存格式middlewares.py...
2019-01-26 10:33:00
380
原创 [爬虫] 爬虫策略+爬虫去重
深度优先、广度优先# 深度优先def depth_tree(tree_node): if tree_node is not None: print (tree_node._data) if tree_node._left is not None: return depth_tree(tree_node._left) if tree_node._right is not No...
2019-01-22 09:18:21
682
原创 [Python] 正则表达式re
【资源】官方说明：help(re) #命令行查看官方解释可视化正则表达式【特殊字符】常用功能说明“^”开头“^x”，以x字符开头“$”结尾“x$”，以x字符结尾“.”任意字符（≥0）“()”提取子串math_obj.group(1) #匹配成功后，拿出第一个括号里的子串“?”非贪婪匹配详细说明“|”或者“...
2019-01-21 16:17:30
253
原创 [Python] Pyinstaller将python代码打包成exe | Pyinstaller错误合集
【常用命令】# 打包成单个文件夹pyinstaller my_excel.py #完成后在dist文件夹下# 打包为单个文件 -Fpyinstall -F my_excel.py# 不要命令行 -wpyinstall -F -w my_excel.py# 换图标pyinstall -F -w -i 图标路径（路径要\\） my_excel.py【注意】打包为单个文件（启动慢...
2019-01-18 10:18:26
2485
原创 [PyQt5] 1 布局+控件+信号与槽
布局垂直布局Vertical Layout：垂直摆放，间距均匀横向布局Horizontal Layout：横向摆放，间距均匀网格布局Grid Layout：把布局区域根据控件分成格子窗体布局Form Layout控件Label【目的】显示信息【功能】发射信号，配合槽函数实现特定功能修改样式表，显示图片self.labelName.setText(u"label文")...
2019-01-18 10:13:49
561
原创 [PyQt5] 0 安装（python2 | python3）+pycharm使用
资料：python2.7+Qt4教程PyQt5参考指南PyQtPython安装PyQt pip install pyqt5 #Python3安装 pip2 install python-qt5 #Python2安装：import PyQt5使用designer.exe，创建.ui文件 pip install pyqt5-tools # 安装完成后designer.e...
2019-01-18 10:13:02
453
原创 [Python] 编码问题
文章目录编码问题Python编程编码问题【背景】计算机只能处理数字，文字转换为数字才能处理计算机中8bit作为一个字节，所以一个字节能表示最大的数字就是255常用编码说明问题及其他ASCII一个字节可以表示完26个字母->ASCII（一个字节）编码就成为美国人的标准编码ASCII用于中文明显不够，中文不止255个汉字GB2312用两个字节表示一...
2019-01-16 22:08:47
202
原创 [C语言] 模拟线程池
/*# 题目【线程池】是一种多任务处理模型，由一个任务队列和若干工作线程组成【任务队列】任务队列包含若干任务1. 每个任务包含指向任务数据的指针和处理该任务的函数指针2. 可以向任务队列追加新任务【工作线程】每个工作线程运行一个任务队列处理函数1. 核心功能是从队列中获取一个可用任务 1. 如果队列中有任务则执行 2. 如果队列为空，则调用休眠函数休眠若干时间后继续循环获取任...
2018-12-11 14:57:08
692
原创 [串] 统计每个单词出现的次数，降序输出（快排）
/*【问题】从键盘输入一系列英文单词，单词用空格分割，结束输入后统计每个单词出现的次数，并按照出现次数降序输出每个单词及其出现的次数【说明】可用strcmp()、qsort()库函数【方法一】使用结构体数组来对单词进行统计，然后使用qsort对次数进行排序 - 不建议【方法二】事先不清楚单词的个数，使用链表来组织每个单词，再进行排序 - 普通【拓展】面对海量数据的读取，应该使用键树（Tr...
2018-12-11 14:56:20
3747
原创 [GIS算法] TIN文件的组织方式 - C语言实现
#include<stdio.h>#include<stdlib.h>// 使用动态数组来管理// 链表方式：可参照https://blog.csdn.net/summer_dew/article/details/84726286#define EXP 10e-6// 点typedef struct point{ int ID; //点的ID d
2018-12-11 14:55:13
2396
3
原创 [GIS算法] DEM - 种子搜索法替换面属性 - C
【题目】种子搜索法替换面属性#include<stdio.h>#include<stdlib.h>typedef struct{ double x0,y0; //左下角点的坐标值 int dx,dy; //栅格单元大小 int ycount,xcount; //行列号 double **M; //矩阵}DEM;DEM* CreateDEM();int...
2018-12-11 14:53:01
574
原创 [C 结构体 文件] 读取直线、矩形、圆混合文件，并查询指定类型
【需要读取的文件】LINE0 0 10 10RECT10 10 20 20CIRCLE20 20 40RECT20 20 40 40LINE12 34 56 78LINE56 78 100 200CIRCLE11 22 33END【结果】【完整答案】#include<stdio.h>#include<stdlib.h>#inclu..
2018-12-02 18:54:29
1215
原创 [C语言] C语言sizeof详解 - 全部类型
VC++6.0环境文章目录总结结构体struct联合unionunion与struct混合参考文章总结union看最大找struct最大的基础数据类型，一定要是它的倍数，而且至少要能把大家都存下#include<stdio.h>// 单位：字节（1字节=8位）typedef struct _Point{ double x; // 8 double y; ...
2018-12-02 14:59:05
753
原创 [爬虫] 爬取高德地图的面状数据存为shp - 公园数据为例
爬取的数据仅用于科研爬取的接口就不讲解了，代码中有代码写于2017年9月，今天找当时爬取的相关数据找到，代码时效性差# -*- coding:utf-8 -*-# Author:PasserQi# Time:2017/9/29# Function:矢量化厦门市公园范围import jsonimport timeimport urllibimport arcgisscri...
2018-11-28 20:23:43
13063
12
原创 [OGC] 矢量栅格数据结构的标准
【OGC】开放地理空间信息联盟（Open Geospatial Consortium）文章目录矢量服务Web地图服务Web矢量服务（WFS）栅格服务Web栅格服务（WCS）矢量服务【矢量服务】矢量数据结构的通用标准Web地图服务返回的是图层级的地图影像Web矢量服务（WFS）返回的是矢量级的GML编码，并提供对矢量的增加、修改、删除等事务操作，是对Web地图服务的进一步深入OGC...
2018-11-26 21:42:59
3353
原创 [GIS算法] 栅格与矢量转换
文章目录栅格转矢量目的基本步骤算法双边界搜索算法栅格转矢量目的为了将栅格数据分析的结果，通过矢量绘图装置输出数据压缩的需要：将大量的面状栅格数据转换为由少量数据表示的多边形边界主要目的：将自动扫描仪获取的栅格数据加入矢量形式的数据库基本步骤多边形边界提取：采用高通滤波将栅格图像二值化或以特殊值标识边界点边界线追踪：对每个边界弧段由一个结点向另一个结点搜索，通常对每个已知边界点...
2018-11-26 21:16:10
5913
原创 [ArcGIS] 空间分析（十一）ArcGIS眼中的3D世界 -3D折线
文章目录3D 点要素3D 折线what创建3D折线思路3D 面要素未完，待更3D 点要素3D 折线what【3D折线】3D 线要素会将其 z 值嵌入到其要素类的几何或 Shape 字段中。这意味着，为 3D 线创建的每个新折点都会自动包含 z 值，从而允许其将任意两点连接在一起 - 无论这些点在地面上、地面上方还是地面下方【3D 线要素的示例】地铁运输线飞机飞行路线建筑物间...
2018-11-24 20:07:14
1130
原创 [离散事件模拟] 银行窗口模拟 - C语言
文章目录问题思考离散事件模拟完整代码这种思维蛮巧妙的。问题编制一个程序以模拟银行窗口接待客户的排队业务活动，并计算一天中客户在银行的逗留的平均时间每个窗口在某个时刻只能接待一个客户窗口空闲，则可上前办理业务窗口均被占，则新客户便会排在人数少的队伍前面思考【问题1】为了对最终的编程结果有一个感性的认识，我们要搞清楚：客户在银行逗留的平均时间meanWaitTime和什么有关？...
2018-11-24 19:45:34
6683
原创 [GIS算法] 多边形的面积 - 由N个点构成的简单多边形 - C语言
【题目】计算由N个点构成的简单多边形的面积注意：不考虑可能存在的边的自相交以及岛、洞等复杂情况方法一：向量叉乘向量叉乘可以计算平行四边形的面积 -> 可以计算三角形的面积向量叉乘具有方向 -> 用来计算多边形的面积【算法】遍历多边形的点集得到，得到点A获得A的下一个点B计算OAB的面积，SOAB=0.5∗OA→∗OB→S_{OAB} = 0.5 * \overri...
2018-11-23 15:29:57
3223
翻译 [GIS原理] 4.5 三维空间数据结构
在知识传播途中，向涉及到的相关著作权人谨致谢意！文章目录三维空间数据结构八叉树数据结构不规则四面体数据结构表面三维TIN数据结构三维空间数据结构八叉树数据结构不规则四面体数据结构表面三维TIN数据结构...
2018-11-22 21:47:12
2253
翻译 [GIS原理] 4.4 镶嵌空间数据结构 - Voronoi图/Thienssen多边形 | Delaunay三角网 | TIN
文章目录镶嵌式空间数据结构Voronoi图空间数据结构TIN数据结构以三角形为基本对象以结点为基本对象镶嵌式空间数据结构以正方形和矩形单元进行地理空间划分的规则镶嵌数据模型，采用栅格数据结构进行数据的组织；Voronoi多边形和TIN三角网采用专门的数据结构进行数据组织Voronoi图空间数据结构TIN数据结构以三角形为基本对象以结点为基本对象...
2018-11-22 21:46:07
5512
1
翻译 [GIS原理] 4.3 矢栅一体化空间数据结构
在知识传播途中，向涉及到的相关著作权人谨致谢意！矢栅一体化空间数据结构【栅格、矢量数据结构对比】 优点缺点矢量数据结构1. 数据结构严密，冗余度小，数据量小2. 空间拓扑关系清晰，易于网络分析3. 面向对象目标的，不仅能表达属性编码，而且能方便地记录每个目标的具体的属性描述 信息3. 能够实现图形数据的恢复、更新和综合4. 图形显示质量好、精度高1. ...
2018-11-22 21:45:12
3644
翻译 [GIS原理] 4.2 栅格数据结构
在知识传播途中，向涉及到的相关著作权人谨致谢意！文章目录栅格数据结构完全栅格数据结构多通道/多波段影像完全数据结构压缩栅格数据结构四叉树数据结构常规四叉树线性四叉树（MD码）链码结构影像金字塔数据结构栅格数据结构点：为一个像元线：在一定方向上连接成串的相邻像元集合面：聚集在一起的相邻像元集合。【一个完整的栅格模型需要以下几个参数】栅格形状栅格单元尺寸大小/分辨率栅格原点...
2018-11-22 21:43:50
10823
翻译 [GIS原理] 4.1 矢量空间数据结构（实体数据结构|spaghetti数据结构|拓扑空间数据结构）
在知识传播途中，向涉及到的相关著作权人谨致谢意！文章目录矢量空间数据结构实体数据结构/spaghetti数据结构拓扑空间数据结构索引式拓扑空间数据结构双重独立编码结构/DIME（Dual Independent Map Encoding）码链式双重独立编码矢量空间数据结构矢量数据结构对矢量数据模型进行数据的组织。它直接以几何空间坐标为基础，记录实体坐标及其关系，尽可能精确地表示点、线、多...
2018-11-22 21:42:46
15909
4
翻译 [GIS原理] 4 空间数据结构
在知识传播途中，向涉及到的相关著作权人谨致谢意！空间数据结构【空间数据结构】指对空间数据逻辑模型描述的数据组织关系和编排方式，对地理信息系统中数据存储、查询检索和应用分析等操作处理的效率有着至关重要的影响同一空间数据逻辑模型往往采用多种空间数据结构，例如游程长度编码结构、四叉树结构都是栅格数据模型的具体实现空间数据结构是地理信息系统沟通信息的桥梁，只有充分理解地理信息系统所采用的特...
2018-11-22 21:38:08
3066
翻译 [GIS原理] 3 空间数据模型
在知识传播途中，向涉及到的相关著作权人谨致谢意！文章目录相关概念空间数据模型地理空间空间现象空间实体地理空间与空间抽象概念数据模型逻辑数据模型物理数据模型空间数据结构GIS所考虑的对象地理空间数据的概念模型对象模型/要素模型场模型网络模型选择空间数据空间关系空间拓扑关系空间顺序关系度量空间关系空间数据逻辑模型矢量数据模型栅格数据模型矢量——栅格一体化数据模型镶嵌数据模型面向对象数据模型相关...
2018-11-22 20:31:05
12963
1
原创 [C 结构体 文件] 多边形数据文件读入
【题目】一个包含多个多边形的数据文件，定义一组数据结构，编写一个读取函数，将其从文件读入到内存中，并输出到屏幕上【文件格式】多边形个数多边形编号 该多边形包含的点数第一个点的x 第一个点的y第二个点的x 第二个点的y....【示例文件】31 31.0 0.01.0 1.00.0 1.02 46.0 7.01.0 0.01.0 1.00.0 1.03 31.0...
2018-11-21 17:01:01
745
3
原创 [GIS] 编程与坐标系 | Wkid对应的坐标系
每一个大地坐标系与一个wkid相对应4001 GCS_Airy_18304002 GCS_Airy_Modified4003 GCS_Australian4004 GCS_Bessel_18414005 GCS_Bessel_Modified4006 GCS_Bessel_Namibia4007 GCS_Clarke_18584008 GCS_Clarke_18664009 GC...
2018-11-20 20:27:27
1016
原创 [选择树] 胜者树 | 败者树
选择树：先用一个较大的时间复杂度将一些元素建成满足一定要求的树每次处理，只会破坏树的部分结构所以，局部调整即可恢复结构，从而降低时间复杂度堆【堆】一种数据结构，可以把堆看成一棵完全二叉树这棵完全二叉树满足：任何一个非叶结点的值都不大于（或不小于）其左右孩子结点的值大顶堆：父亲大孩子小小顶堆：父亲小孩子大【应用】堆排序：https://blog.csdn.net/sum...
2018-11-18 11:39:09
3631
原创 [GIS算法] 求单调链 - C语言实现
单调链：一个点序列在某个直线上投影如果是有序的，则认为此点序相对与该直线是一个单调链【问题】找到任意点序列相对于Y轴的所有单调链#include<stdio.h>typedef struct _POINT{ double x; double y;}POINT;// 求单调链int GetLink(POINT *points, int n) { //两个两个判断 ...
2018-11-12 16:33:17
710
原创 [GIS算法] DEM相关处理 - 窗口分析（以平均值为例）| 裁剪 - C语言实现
#include&lt;stdio.h&gt;#include&lt;stdlib.h&gt;typedef struct{ double x0,y0; //左下角点的坐标值 int dx,dy; //栅格单元大小 int ycount,xcount; //行列号 double **M; //矩阵}DEM;DEM* CreateDEM(int xcount,int ycount...
2018-11-12 16:26:49
1233
1
原创 [GIS算法] 多边形是否在圆内 - C语言实现
/* @Time:20181112 @Title:判断多边形是否在圆内 @Desc:圆是一个凸集，判断多边形的每一个顶点是否在圆内即可 */#include&lt;stdio.h&gt;#include&lt;stdlib.h&gt;#define EXP 1e-8 //精度typedef struct point{ double x; double y; struct ...
2018-11-12 16:24:36
711
原创 [图] 医院选址问题 - 最短路径Floyd应用 - C语言实现
【问题背景】已知有向图的邻接矩阵如下图所示，需在其中一个结点建立医院 要求： 1. 该结点距其他各个结点的最长往返路径最短 2. 相同条件下总的往返路程越短越好 矩阵： 0 13 ∞ 4 ∞ 13 0 15 ∞ 5 ∞ ∞ 0 12 ∞ 4 ∞ 12 0 ∞ ∞ ∞ 6 3 0【思路】最长往返路径 1. 该矩阵是一个有向图，也就是说A->B的路径，...
2018-11-12 16:20:37
5615
1
原创 [Trie树] 统计英文文本中单词出现的个数 - C语言实现 - 考虑数字、英文
【英文文本】 However, after reaching the shore there are plenty of challenges waiting for him."The biggest challenge now is learning to walk again! My biggest fear when I was coming out of the water and ...
2018-11-12 08:30:07
2837
2
原创 [GIS算法] 2.7 圆 相关的算法
圆 相关的算法总表算法方法补充点是否在圆内圆心到该点的距离disdis≤半径=>在线段、折线、矩形、多边形是否在圆内圆是凸集->判断是否每个顶点都在园内即可圆是否在圆内比较半径r1<r2 => O2不可能在O1内两圆心距离＞r1-r2 => O2不在O1内 反之，O2在O1内...
2018-11-12 07:56:16
311
原创 [GIS算法] 2.6.1 判断点是否在多边形内
射线法 | 奇偶测试法射线法，也叫奇偶测试法简单的射线法【交点数目】一条射线从点P开始，穿过多边形的边界的次数称为交点数目【判断】交点数目=偶数 =&gt; P在多边形外部交点数目=奇数 =&gt; P在多边形内部【适用情况】多边形是简单的（没有自相交点）【缺点|不适用的情况】对于非简单多边形，是不适用的改良后的射线法【改良思路】确保只有会改变出入特性的穿越才被计算。特...
2018-11-12 07:55:30
3286
1
原创 [GIS算法] 2.6 多边形 相关的算法
多边形 相关的算法总表算法方法补充点是否在多边形内法一：射线法法二：转角法详细线段是否在多边形内详细折线是否在多边形内判断折线的每条线段是否都在多边形内折线有m条线段，多边形有n个顶点时间复杂度O(m×n)多边形是否在多边形内多边形的每条边是否在多边形内m个顶点的多边形是否在一个有n个顶点的多边形内：O(m×n)矩形是否在多边形内...
2018-11-12 07:54:48
849
原创 [GIS算法] 2.5 矩形 相关的算法
矩形相关的算法算法方法判断矩形是否包含点判断该点的横坐标和纵坐标是否夹在矩形的左右边和上线边之间判断线段、折线、多边形是否在矩形中矩形是个凸集 => 判断所有端点是否都在矩形中判断矩形是否在矩形中比较左右边界和上下边界判断圆是否在矩形中条件1：圆心在矩形中条件2：圆的半径小于或等于圆心到矩形四边的距离的最小值...
2018-11-12 07:54:11
500
原创 [GIS算法] 2.4 线 相关的算法
线相关的算法总表算法说明方法判定补充判断两矢量相互之间的顺逆时针关系矢量P=(x1,y1)，Q=(x2,y2)P×Q=x1y2-x2y1P×Q>0 => P在Q的顺时针方向P×Q<0 => P在Q的逆时针方向 P×Q=0 => P与Q共线，但可能同向也可能反向折线段的拐向判断有公共端点的线段p0p1和p1p2resul...
2018-11-12 07:53:19
378
MOD04Toolbox.zip
2020-01-02
WebGIS选择要素并下载shp文件到本地
2018-06-17
创建一个6*6的格网，将商业圈道路数据随机分配到不同的志愿者进行管理
2017-12-19
MVC模型DEMO
2017-09-13
使用高德地图Web服务-路径规划，用ArcGIS JS显示数据在天地图底图上
2017-09-09
ArcGIS api for javascript使用高德地图POI服务
2017-08-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人