自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 资源 (1)
  • 收藏
  • 关注

原创 scrapy框架爬取招聘网的职位信息

快要毕业了,最近在招聘网上找找工作,还是觉得爬取所有数据看着方便,所以博主爬取了51job的所有GIS相关的职位。用的是scrapy框架,数据保存到Mysql中,方便查看一点。首先创建项目51Job,确定下爬取的url及页码,即可开始用xpath了用shell的话调试scrapy会方便很多然后开始进行xpath调试最后将数据保存到mysql数据库中结果图在navicat可视化工具中查看...

2019-12-04 16:48:15 456

原创 python简单爬取安居客的新房和二手房信息

最近同学的论文需要对合肥的房价进行分析,所以博主帮他爬取了合肥的新房以及二手房信息。直接写的脚本进行爬取,没用到框架了,偷懒了,任务量也不大,代码不知道什么时候可能在网上复制的了,自己根据网页改了点。新房爬取用的是requests+BeautifulSoup;二手房用的是requests+etree+xpath。...

2019-12-04 16:21:32 1867

原创 Leaflet简单调用Geoserver发布的WMS服务

1、首先创建一个网页和一个地图框,添加属性。2、然后创建一个地图容器,设置中心点以及缩放程度。3、将发布的WMS服务添加进去,同时添加插件比例尺以及简单点线面的绘制4、成果图如下简单代码截图*如果导致点线面的创建不在地图上,可能的原因是 在新建点线面的时候,将经纬度的顺序弄反了...

2019-12-04 15:57:14 2183

原创 将OSM的点线面数据导入pgsql并进行简单渲染发布服务

一、在PostgreSQL的操作步骤1、下载PostgreSQL安装包并且同时安装postgis拓展,在PostgreSQL中建立自己的数据库yrj.2、在yrj数据库中添加拓展,如图图一 添加拓展图二 结果图二、安装Python,同时配置变量图三 添加系统变量图四 添加path变量三、使用osm2pgsql需要在Github官网中下载default.style文件(*不...

2019-12-04 15:46:33 485

原创 调用百度api将地址转换为经纬度信息

欢迎使用Markdown编辑器最近需要全国各城市的经纬度信息,网上搜索的格式都不方便,所以就自己调用百度api进行转换首先去的博雅地名网获取全国市级行政区名称,放到一个集合里,接着通过写一个脚本,获取到所需的经纬度信息即可,百度的ak需要自己申请...

2019-09-17 19:10:41 915

原创 基于旅游景点的可视化展示

最近需要做个课设,所以就想着做个简单的大数据可视化(在学长的帮助下,因为本人不太会前端,哈哈),项目代码是通过python写的,数据获取通过爬虫获取,前端是用的python的Django框架,下面是项目的介绍以及功能展示数据获取:1、建立爬虫脚本,通过requests获取https://piao.qunar.com/ticket/list.htm?keyword=%E7%83%AD%E9%97...

2019-05-31 16:49:23 13144

爬取招聘网的职位信息

python获取数据,利用scrapy框架,爬取招聘网的职位信息; python获取数据,利用scrapy框架,爬取招聘网的职位信息

2019-12-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除