打酱油的葫芦娃
一万年太久,只争朝夕!
展开
-
突破百度地图Web API的配额限制,实现接口调用自由!
本文系统分析了百度地图开放平台的Web API调用方式,通过JS逆向的方式实现了关键参数的构建,从而突破百度地图Web API的配额限制,实现接口调用自由。原创 2024-02-20 11:18:26 · 1589 阅读 · 0 评论 -
一文教会你如何基于高德地图获取城市公交网络数据(包含经纬度)
之前写过1篇如何基于8684公交查询网站获取城市公交网络数据的文章,但获取到的公交网络数据里是不包含经纬度信息的。近日,有小伙伴咨询我,怎样把公交线路和各站点的经纬度信息也同步获取到,从而进行一些可视化展示。周末闲来无事,就基于高德地图简单研究了一下,并把实现过程分享出来。1 获取公交线路名称集合想要获取整个城市的公交线路数据,第一步是先拿到城市公交线路的名称集合,然后再基于线路名去请求各个线路的详细信息。这一过程可以基于8684公交查询网站来实现,具体过程可参见我之前的博文。代码如下:de原创 2022-02-28 15:38:28 · 11269 阅读 · 10 评论 -
如何获取全国省市区行政边界数据
今天我们以高德地图为例,讲解一下如何获取全国省市区行政边界数据。高德开放平台Web服务APIhttps://lbs.amap.com/依次点击开发支持–Web服务–Web服务API,即可进入到高德开放平台Web服务API页面。可以发现,官方已开放了行政区域查询的接口。点击查看该接口的详细介绍:其实就是先申请Key,然后构造Http请求,发送请求解析返回数据即可。同时接口文档提到,该接口只能返回国、省、市、区的polyline(边界点集合),不支持街道级别,但已经满足我们的需求了。首先分原创 2022-02-17 19:59:06 · 15957 阅读 · 1 评论 -
如何将Python的Web服务注册到Consul上?
Springboot构建的微服务,如果想用Consul来进行服务注册、发现等,已经有成熟的starter封装了相关逻辑,可以直接使用。最近有粉丝咨询,Python的Web服务如何注册到Consul上?今天工作之余,就写一下吧。服务实例首先我们先定义服务实例:class ServiceInstance: def __init__(self, service_id:str, host: str, port: int, tags: list = None, metadata: dict = N原创 2022-02-14 15:47:11 · 5571 阅读 · 0 评论 -
Python网络爬虫--模拟登陆教务处网站
本文主要介绍如何利用Python的requests库实现学校教务处网站的模拟登陆。关于教务处网站模拟登陆的典型应用主要有课程格子、超级课程表等,教务处网站形式多种多样,但登陆的基本流程类似,即构建表单-提交表单-实现登陆。本文以我浙的教务处网站为例进行模拟登陆演示。登陆流程分析首先打开我浙的教务处网站首页,F12打开开发者工具,输入学号、用户名、验证码,点击登陆之后,通过开发者...原创 2018-04-28 10:00:26 · 5564 阅读 · 0 评论 -
Python网络爬虫--历史天气数据采集
在很多机器学习应用中,天气数据为重要的辅助特征数据,故本文主要介绍如何利用Python获取历史天气数据。目标网站数据爬取的目标网站为天气网编程实现导入相关包import requests # 导入requestsfrom bs4 import BeautifulSoup # 导入bs4中的BeautifulSoupimport osimpo...原创 2018-04-27 11:09:58 · 12772 阅读 · 2 评论 -
Python+ArcGIS进行北京市出租车轨迹点的展示
本篇博文要完成的工作主要是:1、将上述数据(8911个txt文件)利用python编程转化成1个csv表2、将csv表导入ARCGIS进行轨迹点展示原创 2017-04-13 17:26:03 · 37231 阅读 · 51 评论 -
Python爬虫(一)--城市公交网络站点数据的爬取
本博文的目的是利用Python爬虫实现对整个城市公交网络站点数据的爬取存储,爬取的站点为http://beijing.8684.cn/,解析html文档使用的是BeautifulSoup。原创 2017-04-14 09:42:38 · 42519 阅读 · 27 评论 -
Python-MongoDB连接搭建(一):MongoDB数据库的配置安装
最近在处理北京市的出租车GPS数据,以前都是把数据放在Oracle里面,然后用Matlab进行调用计算的,这段时间开始学习Python,发现Python调用Oracle实在是不大方便,而且后期web可视化的时候,还得把结果封装成json数据,网上看大神的博客说MongoDB数据库特别好用,而且数据(文档)就是json,而且是no-sql型数据库,可以插入任意结构结构形式的数据条,关键是超好的支持Python开发,简直原创 2017-04-14 10:14:49 · 17993 阅读 · 0 评论 -
Python-MongoDB连接搭建(二):Python连接MongoDB
上篇文章我们介绍了MongoDB数据库的安装及相关配置,今天我们通过Python来操作MongoDB。(1)MongoDB数据库用户管理与其他数据库(Oracle,Mysql)等类似,MongoDB也提供了用户管理的功能,还记得上篇文章里的.conf文件吗?再贴一遍:原创 2017-04-14 22:41:02 · 24583 阅读 · 0 评论 -
Python爬虫(二)--利用百度地图API批量获取城市所有的POI点
上篇关于爬虫的文章,我们讲解了如何运用Python的requests及BeautifuiSoup模块来完成静态网页的爬取,总结过程,网页爬虫本质就两步:1、设置请求参数(url,headers,cookies,post或get验证等)访问目标站点的服务器;2、解析服务器返回的文档,提取需要的信息。原创 2017-04-15 21:56:31 · 55505 阅读 · 17 评论