python爬取网页数据并存储到数据库（爬取某网址汽车相关数据）

前提条件：python2.7 编辑器pycharm 如果是python3需要改一下代码输出方式及类包
大家可以把不同网址带入，首先找到规律追踪到具体网址就可以了

#!/usr/bin/python
# -*- coding:utf8 -*-
import requests
from bs4 import BeautifulSoup
import re
import datetime
import _mssql
import json
res = requests.get('http://common.jingzhengu.com/carStyle/getMakesPanelHtml')#获取目标网页
res.encoding = 'utf-8'#抓取网页出现乱码
soup = BeautifulSoup(res.text,'html.parser')#爬取网页
div_brands=[]#获取的所有车牌
div_list1 = soup.find_all('dd')
#div_list2 = soup.find_all('div')
arr=[]
brands=[]
#获取到品牌 及品牌的id码
for brands in div_list1:
    for brand in brands:
        #print(brand)
        #print(brand)
        if brand!="\n":
            #print(brand)
            arr.append(brand)
#print(arr)
count=0
SER_ID=[]
SER_Br=[]
ser_url=[]
for each in arr:
    srr=str(arr[count])
    ID = re.findall(r'<a data-id="(.*)" href="javascript:;">', srr)#正则表达式，（。*）为要获取的数据
    #print(ID)
    Brand = re.findall(r'>(.*)</a>', srr)  # Brand
    a=str(ID[0])
    b=str(Brand[0])
    SER_ID.append(ID[0])
    SER_Br.append(Brand[0])
    s=b.decode('utf8')
    #创建数据库链接
    conn = _mssql.connect(server='localhost', user='test', password='123456', database='test',charset='utf8')
    conn.execute_non_query(" INSERT INTO Dic_Brand (BrandId,BrandName) values(%s,%d)",(a,s))
    count = count + 1
    if count > arr.__len__():
        break

如果需要继续爬取，需要根据现在的已知条件拼接网址按照相似的方式继续拼接，根据取到的网页根据正则表达式拿取数据，这里代码就不一一展示了