#Scrapy爬虫 爬虫四个步骤 新建项目(scrapy startproject XXX):新建一个新的爬虫项目 明确目标(编写items.py):明确你想要抓取的目标 制作爬虫(sp ders/XXspider.py):制作爬虫开始爬取网页 存储内容(pipelines.py):设计管道存储爬取内容 #安装scrapy 在terminal窗口输入以下命令 pip install scrapy #新建项目 scrapy startproject <项目名称> #创建爬虫文件 scrapy genspider <爬虫名称> <网站域名> 注意:1、爬虫名称不能与项目名称一样 2、网站域名是允许爬虫采集的域名 ——baidu.com zhihu.com import scrapy #创建爬虫类,并且继承自scrapy.Spider(爬虫最基础的类) class BaiduSpider(scrapy.Spider): name = 'baidu'# 爬虫名字:必须唯一,不能重名 allowed_domains = ['baidu.com']# 允许采集的域名 start_urls = ['http://baidu.com/']# 开始采集的网站 # 解析响应数据,提取数据或者网址等,response就是网页源码 def parse(self, response): pass 分析网站 提取数据 1、正则表达式(基础) 2、XPath(从HTML中提取数据) 3、CSS(从HTML中提取数据) response.xpath(xpath语法).get() get()是获得一个元素 getall()是获得多个元素 运行爬虫 scrapy crawl <爬虫名称> scrapy.Request(next_url,callback = self.parse)# 生成器 Request()发出请求,类似于request.get() callback是将发出去的请求得到的响应还交给自己处理 注意:回调函数不要写()只写函数名字
scrapy框架爬虫
最新推荐文章于 2024-09-02 00:00:00 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)