1-items的编写
Item对象可以保存爬取到的数据,相当于存储爬取到的数据的容器。
对于爬取到的的数据,需要提取出我们关注的结构化的信息,以便于对数据的管理。
2-pipelines的编写
主要用于接收提取出来的项目(item),接收后,会对这些item进行处理
常见的处理方式主要有:清洗、验证、导出到外部文件、存储到数据库等。
3-settings的编写
settings文件为爬虫项目的设置文件,主要是爬虫项目的一些设置信息。
例如,启用了pipelines,需要把settings中相关代码的注释取消
主要修改点:(为了反爬)
3-1-pipelines
3-2-Robots协议
爬虫协议,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
注释掉,ROBOTSTXT_OBEY = True
3-3-Cookies
某些网站为了辨别用户身份而储存在用户本地终端(Client Side)上的数据
去掉注释,COOKIES_ENABLED = False
3-4-设置下载延时
取消注释并修改值,DOWNLOAD_DELAY = 3
4-spider的编写
定义爬取的动作及分析某个网页(或者是有些网页)的地方。
例如,写Xpath语句或者正则表达式,及爬取多页数据等