Python爬虫基础2(正则表达式的应用)

#正则表达式筛取爬到的内容
import re
from urllib import request

#定义url'
page=100
url='https://tieba.baidu.com/f?ie=utf-8&kw=%E6%AE%B5%E5%AD%90' +str(page)

try:
    #定义请求头
    headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4878.0 Safari/537.36'}
    #定义请求头,传入请求头
    req=request.Request(url,headers=headers)
    #打开网页
    resp=request.urlopen(req)
    #打印响应,解码
    content=resp.read().decode('utf-8')
    print(content)
    #正则表达式
    #<a rel="noopener"具体的东西
    #.*?匹配没有用的数据
    #(。*?)匹配有用的数据
    #\s空格
    pattern=re.compile(r'<a rel="noopener".*?title=(.*?)\s.*?>(.*?)</a>')
    #匹配html
    items=re.findall(pattern,content)
    #打印解析的内容
    for i in items:
        print('标题:'+i[0]+'\t'+'内容:'+i[1])

except request.URLError as e:
    #打印响应码
    if hasattr(e,'code'):
        print(e.code)
    #打印异常原因
    if hasattr(e,'reason'):
        print(e.code)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python 爬虫中,正则表达式是非常常用的工具。它可以帮助我们从网页中抓取需要的信息,过滤掉不需要的内容,提高爬取效率和准确性。以下是一些常用的正则表达式应用场景: 1. 匹配 URL 链接:可以使用正则表达式提取出页面中的所有链接,便于进一步抓取和分析页面内容。 2. 匹配特定文本:如果我们只需要网页中某个特定文本,可以使用正则表达式来匹配并提取。 3. 过滤 HTML 标签:网页中的 HTML 标签对于我们的数据分析来说是无用的,可以使用正则表达式去除标签。 4. 匹配时间日期:有些网站会包含时间日期等信息,可以使用正则表达式来提取这些信息。 Python 中可以使用 re 模块来实现正则表达式应用。具体使用方法可以参考以下示例代码: ```python import re import requests # 抓取网页内容 r = requests.get('https://www.example.com') html = r.content.decode() # 匹配 URL 链接 urls = re.findall('<a href="(.*?)".*?>.*?</a>', html) print(urls) # 匹配特定文本 text = re.search('<title>(.*?)</title>', html).group(1) print(text) # 过滤 HTML 标签 clean = re.compile('<.*?>') content = re.sub(clean, '', html) print(content) # 匹配时间日期 dates = re.findall('\d{4}-\d{2}-\d{2}', html) print(dates) ``` 上述代码演示了如何使用正则表达式抓取网页内容并进行一些简单的数据处理。需要注意的是,在实际应用中,正则表达式应该根据具体情况进行调整和优化。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值