【Python】爬虫-----数据解析之CSS解析

最新推荐文章于 2024-01-06 19:43:01 发布

原创最新推荐文章于 2024-01-06 19:43:01 发布 · 5.8k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #css

Python记录册专栏收录该内容

51 篇文章

订阅专栏

本文详细介绍了如何利用Python的parsel库结合CSS选择器从网页中提取文本信息，包括定位class和id元素，通过实例演示了从biquge.biz页面抓取小说名和内容的过程。

如何使用CSS解析数据？

1.导入所需模块

import parsel

2.把要解析的数据转化为Selector对象

selector = parsel.Selector(要解析的内容)

3.调用css函数输入解析规则

定位class里的h1，并拿到它里面的内容:

selector.css('.bookname h1::text').get()

定位id，并拿到它里面的内容:

selector.css('#content::text').getall() #getall()返回的是一个列表

用CSS解析网页文本案例

import requests
import parsel

url = "https://www.biquge.biz/58_58780/161880.html"
respond = requests.get(url).text
#print(respond)
selector = parsel.Selector(respond)
novle = selector.css('.bookname h1::text').get()
content = selector.css('#content::text').getall()
content = '\n'.join(content)
print(novle)
print(content.encode('gbk','ignore').decode('gbk','ignore'))