“黑客”入门——爬虫scrapy初体验

最新推荐文章于 2024-04-06 10:01:07 发布

莫荒误

最新推荐文章于 2024-04-06 10:01:07 发布

阅读量675

点赞数 3

分类专栏： python入门数据分析 javascript入门文章标签： python

本文链接：https://blog.csdn.net/weixin_45221012/article/details/104522750

版权

本文介绍了Python爬虫框架Scrapy的安装、项目创建、启动爬虫、设置调整、shell模式的使用以及crawl模式的操作。通过实例展示了如何在shell模式下运用CSS选择器，并提供了简单的Scrapy爬虫代码。Scrapy是一个强大的类似Django的爬虫框架。

摘要由CSDN通过智能技术生成

欢迎关注，敬请点赞！

pip install scrapy

如果需要安装C++，可以先下载安装twisted:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted(选择对应的python版本)。

需要在项目根目录下，如D:\Python\spider>。

运行：scrapy startproject 项目名(如：lab)，D:\Python\spider>scrapy startproject lab

进入项目内：cd 项目名，D:\Python\spider>cd lab

scrapy genspider 爬虫名爬取网址(不需要缀http://)

以SCRAPY爬虫实验室为例：scrapy genspider lab_scrapy lab.scrapyd.cn

对settings.py文件中的爬虫君子协定和延时进行设置，也可以忽略。

# Obey robots.txt rules 爬虫君子协定(暂调为False)
ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 3  # 延时

返回顶部
可以使用shell模式，尝试不熟悉的命令，减少代码报错频率。

scrapy shell 爬取网址

以SCRAPY爬虫实验室为例：D:\Python\spider>scrapy shell http://lab.scrapyd.cn

关注

专栏目录