Python爬虫开源项目合集

最新推荐文章于 2024-08-15 12:02:27 发布

pythonzxw

最新推荐文章于 2024-08-15 12:02:27 发布

阅读量1.9k

点赞数

分类专栏： python相关文章标签： python 编程语言 github

本文链接：https://blog.csdn.net/pythonzxw/article/details/106544763

版权

本文列举了一系列Python爬虫开源项目，包括Scrapy、BeautifulSoup、python-goose、pyspider等，涵盖数据抓取、清洗、分析等多个方面。这些项目提供了强大的WebUI、分布式架构、定制化网络爬虫等功能，适用于各种网络爬虫需求。

摘要由CSDN通过智能技术生成

　　scrapy - 最出名的网络爬虫，一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。官方主页,Scrapy 轻松定制网络爬虫 - 教程，Scrapy 中文指南。
　　项目地址：
　　https://github.com/scrapy/scrapy/
　　BeautifulSoup - Beautifu Soup不完全是一套爬虫工具，需要配合urllib使用，而是一套HTML/XML数据分析，清洗和获取工具。
　　项目地址：
　　http://www.crummy.com/software/BeautifulSoup/
　　python-goose - Python-Goose用Python重写，依赖了Beautiful Soup。给定一个文章的URL, 获取文章的标题和内容很方便。
　　项目地址：
　　https://github.com/grangier/python-goose/
　　pyspider - PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。demo地址,网络爬虫剖析，以Pyspider为例， Scrapy 示例 —— Web 爬虫框架。
　　项目地址：
　　https://github.com/binux/pyspid