Python 网络爬虫

1. 确定 URL
from urllib import request
import re
#定义url
page=50
url="https://tieba.baidu.com/f?kw=%E6%AE%B5%E5%AD%90&ie=utf-8&pn="+str(page)
2.添加headers并抓取页面代码
try:
    #定义请求头
    headrs={"User-Agent":" Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36"}
    #定义请求，传入请求头
    req=request.Request(url,headers=headrs)
    #打开网页
    resp=request.urlopen(req)
    #打印响应码，解码
    # print(resp.read().decode('utf-8'))
   
3. 使用正则表达式提取某一页的所有段子

 

 content=resp.read().decode('utf-8')
    #定义正则表达式
    #<a rel="noopener" 具体的东西
    #.*? 匹配没用的数据
    #(.*?)匹配有用数据分组
    #\s 空格
    pattern=re.compile(r'<a rel="noopener".*?title=(.*?)\s.*?>(.*?