爬虫实践入门:解析网页

本文介绍了Python爬虫解析网页的方法,包括使用正则表达式解析,如re.match、re.search和re.findall的用法,以及如何通过BeautifulSoup库从HTML和XML文件中提取数据。还提到了BeautifulSoup的主要解析器和如何获取博客标题的代码示例。
摘要由CSDN通过智能技术生成

使用正则表达式解析网站
常见的正则字符和含义

模式 描述
. 匹配任意字符,除了换行符
* 匹配前一个字符0次或多次
\s 匹配空白字符
+ 匹配前一个字符1次或多次
匹配前一个字符0次或1次
\S 匹配任何非空白字符
^ 匹配字符串开头
$ 匹配字符串末尾
() 匹配括号内的表达式,也表示一个组
\d 匹配数字,等价于[0-9]
\D 匹配任何非数字,等价于[^0-9]
\w 匹配字母数字,等价于[A-Za-z0-9]
\W 匹配非字母数字,等价于[^A-Za-z0-9]
[] 用来表示一组字符

接下来介绍的是:re.match\re.reach\re.findall
re.match:从字符串起始位置匹配一个模式,如果从起始位置匹配不了,match就返回none.
re.match(pattern,string,flags=0)
pattern是正则表达式,包含一些特殊的字符,string为要匹配的字符串,flags用来控制正则表达式的匹配方式。
re.search扫描整个字符串并返回第一个成功的匹配
re.findall可以找到所有的匹配
使用BeautifulSoup解析网站
BeautifulSoup可以从HTML或XML文件中提取数据
主要的解析器及其优缺点:

解析器 使用方法及优缺点
python标准库 BeautifulSoup(Markup,“html.parser”)优势:python的内置标准库,执行速度适中;文档容错能力强; 劣势L:速度较慢
Lxml HTML解析器 BeautifulSoup(markup,“xml”) 优势:速度款,文档容错能力强,bs4自带;无缺点
lxml XML解析器 BeautifulSoup(markuo,[“lxml”,“xml”]) BeautifulSoup(markup,“xml”) 优势
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值