- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 scrapy框架爬取招聘网的职位信息
快要毕业了，最近在招聘网上找找工作，还是觉得爬取所有数据看着方便，所以博主爬取了51job的所有GIS相关的职位。用的是scrapy框架，数据保存到Mysql中，方便查看一点。 首先创建项目51Job,确定下爬取的url及页码，即可开始用xpath了 用shell的话调试scrapy会方便很多 然后开始进行xpath调试 最后将数据保存到mysql数据库中 结果图在navicat可视化工具中查看 ...
2019-12-04 16:48:15
458
原创 python简单爬取安居客的新房和二手房信息
最近同学的论文需要对合肥的房价进行分析，所以博主帮他爬取了合肥的新房以及二手房信息。直接写的脚本进行爬取，没用到框架了，偷懒了，任务量也不大，代码不知道什么时候可能在网上复制的了，自己根据网页改了点。 新房爬取用的是requests+BeautifulSoup； 二手房用的是requests+etree+xpath。 ...
2019-12-04 16:21:32
1873
原创 Leaflet简单调用Geoserver发布的WMS服务
1、首先创建一个网页和一个地图框，添加属性。 2、然后创建一个地图容器，设置中心点以及缩放程度。 3、将发布的WMS服务添加进去，同时添加插件比例尺以及简单点线面的绘制 4、成果图如下 简单代码截图 *如果导致点线面的创建不在地图上，可能的原因是 在新建点线面的时候，将经纬度的顺序弄反了 ...
2019-12-04 15:57:14
2185
原创 将OSM的点线面数据导入pgsql并进行简单渲染发布服务
一、在PostgreSQL的操作步骤 1、下载PostgreSQL安装包并且同时安装postgis拓展，在PostgreSQL中建立自己的数据库yrj. 2、在yrj数据库中添加拓展，如图 图一 添加拓展 图二 结果图 二、安装Python，同时配置变量 图三 添加系统变量 图四 添加path变量 三、使用osm2pgsql 需要在Github官网中下载default.style文件（*不...
2019-12-04 15:46:33
491
原创 调用百度api将地址转换为经纬度信息
欢迎使用Markdown编辑器 最近需要全国各城市的经纬度信息，网上搜索的格式都不方便，所以就自己调用百度api进行转换 首先去的博雅地名网获取全国市级行政区名称，放到一个集合里,接着通过写一个脚本，获取到所需的经纬度信息即可，百度的ak需要自己申请 ...
2019-09-17 19:10:41
916
原创 基于旅游景点的可视化展示
最近需要做个课设，所以就想着做个简单的大数据可视化(在学长的帮助下，因为本人不太会前端，哈哈)，项目代码是通过python写的，数据获取通过爬虫获取，前端是用的python的Django框架，下面是项目的介绍以及功能展示 数据获取： 1、建立爬虫脚本，通过requests获取https://piao.qunar.com/ticket/list.htm?keyword=%E7%83%AD%E9%97...
2019-05-31 16:49:23
13152
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人