很多人学习python的目的就是为了学习能够实现爬虫的功能,这里,我使用了scrapy框架来实现了一个简单的爬虫功能,这里我简单的介绍一下Scrapy项目的创建,和运行。
1,第一步是安装scrapy,我相信到了这一步,大多数人都已经会安装第三方库文件了,这里主要是使用命令pip install scrapy来安装scrapy框架。
2,进入我们需要储存代码的目录,使用命令scrapy startproject tutorial来创建一个项目
接下来,我们可以看见类似下面代码的命令输出
New Scrapy project 'tutorial', using template directory '/Library/Python/2.7/site-packages/scrapy/templates/project', created in:
/Users/jk/PycharmProjects/tutorial
You can start your first spider with:
cd tutorial
scrapy genspider example example.com
3,我们创建一个名为quotes_spider.py的python文件,
# -*- coding: utf-8 -*-
import scrapy
class QuotesSpiderSpider(scrapy.Spider):
name = 'quotes'
start_urls = [
'http://quotes.toscrape.com/page/1/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').extract_first(),
'author': quote.css('small.author::text').extract_first(),
'tags': quote.css('div.tags a.tag::text').extract(),
}
next_page = response.css('li.next a::attr(href)').extract_first()
if next_page is not None:
next_page = response.urljoin(next_page)
yield scrapy.Request(next_page, callback=self.parse)
4.这里我们可以使用命令来
scrapy
crawl
quotes
-
o
quotes
.
json执行文件,文件被保存到来quotes.json中,quotes为我们之间创建的文件的name属性,我们便可以在项目之中看见内容文件了
5项目地址:git@github.com:1eagle/first_spider.git
备注:这个只是个基础的项目,关于更多的关于scrapy文件的解释,我会在稍后的文章中叙述,包括xpath,css和正则也会在后面的文章总结