scrapy - 最出名的网络爬虫,一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。官方主页,Scrapy 轻松定制网络爬虫 - 教程,Scrapy 中文指南 。
项目地址:
https://github.com/scrapy/scrapy/
BeautifulSoup - Beautifu Soup不完全是一套爬虫工具,需要配合urllib使用,而是一套HTML/XML数据分析,清洗和获取工具。
项目地址:
http://www.crummy.com/software/BeautifulSoup/
python-goose - Python-Goose用Python重写,依赖了Beautiful Soup。给定一个文章的URL, 获取文章的标题和内容很方便。
项目地址:
https://github.com/grangier/python-goose/
pyspider - PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器。demo地址,网络爬虫剖析,以Pyspider为例 , Scrapy 示例 —— Web 爬虫框架 。
项目地址:
https://github.com/binux/pyspid
Python爬虫开源项目合集
最新推荐文章于 2024-08-15 12:02:27 发布
本文列举了一系列Python爬虫开源项目,包括Scrapy、BeautifulSoup、python-goose、pyspider等,涵盖数据抓取、清洗、分析等多个方面。这些项目提供了强大的WebUI、分布式架构、定制化网络爬虫等功能,适用于各种网络爬虫需求。
摘要由CSDN通过智能技术生成