Python爬虫(一)--城市公交网络站点数据的爬取

本文介绍了如何使用Python爬虫从8684网站抓取北京市的公交线路信息,包括线路分类、线路网址、线路名称以及具体的站点信息。通过分析网页结构,提取关键数据,并提供完整代码示例,最终将数据保存到txt文件中。
摘要由CSDN通过智能技术生成

作者:WenWu_Both
出处:http://blog.csdn.net/wenwu_both/article/
版权:本文版权归作者和CSDN博客共有
转载:欢迎转载,但未经作者同意,必须保留此段声 必须在文章中给出原文链接;否则必究法律责任

**爬取的站点:**http://beijing.8684.cn/

这里写图片描述

(1)环境配置,直接上代码:

# -*- coding: utf-8 -*-

import requests ##导入requests
from bs4 import BeautifulSoup ##导入bs4中的BeautifulSoup
import os

headers =  {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'}
all_url = 'http://beijing.8684.cn'  ##开始的URL地址
start_h
  • 12
    点赞
  • 146
    收藏
    觉得还不错? 一键收藏
  • 27
    评论
评论 27
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值