首先这个网站存在反爬机制,第二,这个是以post的形式传入的,爬取这2点都有难度
我这里直接贴代码,有注释
import requests
import xlwt
from lxml import etree
import re
from fake_useragent import UserAgent
ua = UserAgent()
url='https://www.cnvd.org.cn/flaw/list.htm?flag=true'
headers = {
"User-Agent": ua.random,
}
resp = requests.post(url, data={
'max': 20, 'offset':