python 爬虫简要示例，内容抓取、筛选、排序

ZQ_1204

于 2021-01-29 10:25:24 发布

阅读量1k

点赞数

分类专栏： python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/liyanheng123/article/details/113369881

版权

本文提供了一个Python爬虫的简要示例，讲解如何进行网页内容的抓取、筛选和排序。示例中使用的开发工具是VScode，链接指向官方下载页面。

摘要由CSDN通过智能技术生成

python 爬虫简要示例，内容抓取、筛选、排序，工具 VScode https://code.visualstudio.com/Download

from urllib import request
import re
class Spider():
	url = 'http://www.baidu.com'
	root_pattern = '<li class="hotsearch-item([\s\S]*?)</li>'
	name_pattern = '>([\d])</span>'
	content_pattern = '<span class="title-content-title">([\s\S]*?)</span>'

	def __fetch__content(self):
		r = request.urlopen(Spider.url)
		htmls = r.read()
		htmls = str(htmls,encoding='utf-8')
		return htmls

	def __analysis(self,htmls):
		root_html = re.findall(Spider.root_pattern,htmls)
		anchors = []
		for item in root_html:
			num = re.findall(Spider.name_pattern,item)
			content = re.findall(Spider.content_pattern,item)
			list = {"num":num,"content":conte