解析数据的三大工具:re、bs4和xpath

本文介绍了使用Python的re模块预编译正则表达式,通过finditer方法查找网页中的特定信息。接着,利用BeautifulSoup解析HTML页面,查找指定标签的数据行。最后,运用lxml库的XPath方法提取XML数据。这些技术常用于网络爬虫的数据抓取和处理。

1、re模块
预加载正则表达式:

import re
import csv
obj=re.complie(r'#')
reader=obj.finditer(resp.text)
for it in reader:
  ul=it.group('#')
f=open('#.csv',mode='w',encoding='utf-8')
csvwriter=csv.writer(f)

2、bs4
把页面源代码交给BeautifulSoup处理,生成源数据
从bs中查找数据

from bs4 import BeautifulSoup
page=BeautifulSoup(rexp.text,'html.parser')
table=page.find('标签','属性=值')

拿到所有数据行

trs=table.find_all('tr')[1:]

3、xpath

from lxml import etree
tree=etree.xml(xml)
result=tree.xpath('')
print(result)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jiuxianfei

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值