Python正则表达式提取网页数据（代码实例）

# coding=utf-8
import re
import urllib.request  #urllib在python3不支持，改变格式
import requests
from bs4 import BeautifulSoup
import mysql.connector

url = 'http://www.cnnvd.org.cn/web/vulnerability/querylist.tag '
headers = {
   'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0'}
#添加了一个头部，伪装成浏览器,此时的url并不是一个裸露的url，而是具有header头部的url
#urllib.request.Request（）用于向服务端发送请求，就如 http 协议客户端向服务端发送请求 POST
request = urllib.request.Request(url=url, headers=headers)
#urllib.request.urlopen（）则相当于服务器返回的响应,返回的是一个request类的一个对象， GET
# 类似于一个文件对象，可以进行ｏｐｅｎ()操作获取内容
response = urllib.request.urlopen(request, timeout = 10)#延时
content = response.read().decode('utf-8')#转换一下编码才行
print('获取链接文本内容:')
#print(content)
pattern = r'<a.*?>(.*?)</a>' #规则
datalist = re.findall(pattern, content,re.S|re.M)#标志修饰符，findall得到一个列表

datastr = "".join(datalist