Scrapy Engine:多进程代码,提供并发的支持。已经实现好的,不需要修改。
Scheduler(调度器):存储以及调度(URL+函数)=Request。已经实现好的,不需要修改。
Downloader(下载器):跟request.get的部分封装到这里面。通过Request下载返回值(HTML,JSON),RESPONSE。已经实现好的,不需要修改。
Spiders(蜘蛛):获取到了Response之后,需要定位具体信息。需要自己写的。
item pipeline(项目管道):存储或者是急需处理具体信息。需要自己写的。
新建一个Scrapy的项目
scrapy startproject name
新建Spider
scrapy genspider jobbole jobbole.com
调用某个爬虫(这里 调用 jobbole)执行后会生成HTML文件
scrapy crawl jobbole
填想要获取的页面,进入shell 模式
scrapy shell http://python.jobbole.com/all-posts/
获得的是
定位文章url
response.xpath(’//a[@class=“archive-title”]/@href’)
获取到selector,如果想把data取出来
response.xpath(’//a[@class=“archive-title”]/@href’).extract()
定位文章标题
response.xpath(’/html/head/title/text()’)
获取data
response.xpath(’/html/head/title/text()’).extract()[0]
或者(建议用这个)
response.xpath(’/html/head/title/text()’).extract_first(‘没有标题’)