Unkhmilu的博客

原创 Python爬虫总结——Scrapy+Gerapy部署网络爬虫

网络爬虫（也称为网页蜘蛛、Web 蜘蛛、网络机器人或网络蚂蜂）是一种自动按照特定规则在网络上搜索信息的软件程序。网络爬虫的主要目的是扫描网络，收集信息，并将其存储在数据库或其他存储系统中。网络爬虫可以用于多种目的，例如搜索引擎中收集网站内容以供搜索、监测网站的变化、网站访问统计、收集电子邮件地址等。本文通过jupyter notebook上进行基础单网页爬虫以及通过Scrapy+Gerapy实现多网页爬虫、定时抓取网页信息的案例演示。