# coding=utf-8
import re
import urllib.request #urllib在python3不支持,改变格式
import requests
from bs4 import BeautifulSoup
import mysql.connector
url = 'http://www.cnnvd.org.cn/web/vulnerability/querylist.tag '
headers = {
'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0'}
#添加了一个头部,伪装成浏览器,此时的url并不是一个裸露的url,而是具有header头部的url
#urllib.request.Request()用于向服务端发送请求,就如 http 协议客户端向服务端发送请求 POST
request = urllib.request.Request(url=url, headers=headers)
#urllib.request.urlopen()则相当于服务器返回的响应,返回的是一个request类的一个对象, GET
# 类似于一个文件对象,可以进行open()操作获取内容
response = urllib.request.urlopen(request, timeout = 10)#延时
content = response.read().decode('utf-8')#转换一下编码才行
print('获取链接文本内容:')
#print(content)
pattern = r'<a.*?>(.*?)</a>' #规则
datalist = re.findall(pattern, content,re.S|re.M)#标志修饰符,findall得到一个列表
datastr = "".join(datalist
Python正则表达式提取网页数据(代码实例)
最新推荐文章于 2024-07-26 10:03:07 发布
本文展示了如何使用Python正则表达式从网页中提取所有URL链接,提供了具体的代码实例,包括原文链接和输出结果。
摘要由CSDN通过智能技术生成