抓取商车网的机动车公告数据
我写了人生中第一个爬虫程序,很成功,开心。
总共分两步
第一步抓取所有的车型代码,存到一个文件里,这个文件可以支撑后续进一步访问每个车型的连接,并且抓取其内容。
第一部分抓车型的代码
我写了两个,场景有所不同
第一段代码如下:
主要是用于我可以人工通过bianhao这个list来设定公告批次的,方便集中抓一批下来。但是存在的问题就是容易跑死,这个程序里没有加中断重连的机制,
from bs4 import BeautifulSoup
from lxml import etree
import urllib.request
import re
import requests
import time
import datetime
#定义一个函数,抽取页面的页码数
<