爬取武汉所有的公交站名

爬取武汉所有的公交站名

BY: ceyewan

国庆深度游武汉的时候，我发现，“晴川大道晴川阁”和“江堤中路江堤乡”这两个公交站名有点意思啊，很骚啊。于是我就想，不会吧，不会吧，全武汉该不会只有这两个这样式名字的公交站吧。

于是，现在答案来了，在我爬取了全武汉760条公交线路的7734个站点后，一共找到了31个。

确定目标网站

我们打开网站可以看到：

我们按照第一个分类查找，点击可以发现，所有的url都是由规律的。不包括地铁，就是从2到15。

然后我们能在这个页面里面获取该地区所有的公交路线的url，最后通过requests公交路线的url，获得路线的所有站点。

思路步骤

第一步，分析网站，获取urls。

def get_area_urls():
    urls = [
        'https://m.8684.cn/wuhan_t{}'.format(str(i)) for i in range(2, 16, 1)]
    return urls

第二步，请求这些地区分类url，获得车次的urls。

def get_bus_urls(area_urls):
    obj = re.compile(r'<a href="/wuhan_x_(?P<url>.*?)" title=".*?">.*?</a>', re.S)
    bus_urls = []
    for area_url in area_urls:
        resp = requests.get(area_url)
        bus_hrefs = obj.finditer(resp.text)
        for bus_href in bus_hrefs:
            dic = bus_href.groupdict()
            bus_urls.append('https://m.8684.cn/wuhan_x_' + dic['url'])
        resp.close()
    return bus_urls

第三步，请求车次的url，获得站名，并且写入文件。

def get_station(bus_url):
    f = open('wuhan_bus.csv', mode='a+', encoding=