前提条件:python2.7 编辑器pycharm 如果是python3需要改一下代码输出方式及类包
大家可以把不同网址带入,首先找到规律追踪到具体网址就可以了
#!/usr/bin/python
# -*- coding:utf8 -*-
import requests
from bs4 import BeautifulSoup
import re
import datetime
import _mssql
import json
res = requests.get('http://common.jingzhengu.com/carStyle/getMakesPanelHtml')#获取目标网页
res.encoding = 'utf-8'#抓取网页出现乱码
soup = BeautifulSoup(res.text,'html.parser')#爬取网页
div_brands=[]#获取的所有车牌
div_list1 = soup.find_all('dd')
#div_list2 = soup.find_all('div')
arr=[]
brands=[]
#获取到品牌 及品牌的id码
for brands in div_list1:
for brand in brands:
#print(brand)
#print(brand)
if brand!="\n":
#print(brand)
arr.append(brand)
#print(arr)
count=0
SER_ID=[]
SER_Br=[]
ser_url=[]
for each in arr:
srr=str(arr[count])
ID = re.findall(r'<a data-id="(.*)" href="javascript:;">', srr)#正则表达式,(。*)为要获取的数据
#print(ID)
Brand = re.findall(r'>(.*)</a>', srr) # Brand
a=str(ID[0])
b=str(Brand[0])
SER_ID.append(ID[0])
SER_Br.append(Brand[0])
s=b.decode('utf8')
#创建数据库链接
conn = _mssql.connect(server='localhost', user='test', password='123456', database='test',charset='utf8')
conn.execute_non_query(" INSERT INTO Dic_Brand (BrandId,BrandName) values(%s,%d)",(a,s))
count = count + 1
if count > arr.__len__():
break
如果需要继续爬取,需要根据现在的已知条件拼接网址按照相似的方式继续拼接,根据取到的网页根据正则表达式拿取数据,这里代码就不一一展示了