python爬虫存入数据库_Python网络爬虫Scrapy存入数据库

(转载)scrapy三步曲scrapy的简介、安装与实例（python抓取的爬虫框架）

http://www.myexception.cn/perl-python/660279.html

(原文地址：http://www.ddlive.org/?p=664)

实例，官方有个实例教程，算是比较简单了，然后后面有更详细的一项项解释，不过老实讲我还真是看不太懂，很多地方没有给出实例，所以我在网上找了一大堆资料后，弄了一个实例。现在列出来跟大家分享。

1.实例初级目标：从一个网站的列表页抓取文章列表，然后存入数据库中，数据库包括文章标题、链接、时间

首先生成一个项目:scrapy startproject fjsen

目录结构大致如下：

先定义下items,打开items.py: 我们开始建模的项目，我们想抓取的标题，地址和时间的网站，我们定义域为这三个属性。这样做，我们编辑items.py，发现在开放目录目录。我们的项目看起来像这样： # Define here the models for your scraped items

#

# See documentation in:

# http://doc.scrapy.org/topics/items.html from scrapy.item import Item, Field class FjsenItem(Item):

# define the fields for your item here like:

# name = Field()

title=Field()

link=Field()

addtime=Field()

大家想知道更加详细的话看：http://doc.scrapy.org/en/0.12/topics/items.html

第二步：定义一个spider,就是爬行蜘蛛（注意在工程的spiders文件夹下），他们确定一个初步清单的网址下载，如何跟随链接，以及如何分析这些内容的页面中提取项目（我们要抓取的网站是http://www.fjsen.com/j/node_94962.htm 这列表的所有十页的链接和时间）。 新建一个fjsen_spider.py,内容如下： #-*- coding: utf-8 -*-

from scrapy.spider import BaseSpider

from scrapy.selector import HtmlXPathSelector

from fjsen.items import FjsenItem

class FjsenSpider(BaseSpider):

name="fjsen"

allowed_domains=["fjsen.com"]

start_urls=['http://www.fjsen.com/j/node_94962_'+str(x)+'.htm' for x in range(2,11)]+['http://www.fjsen.com/j/node_94962.htm'] def parse(self,response):

hxs=HtmlXPathSelector(response)

sites=hxs.select('//ul/li')

items=[]

for site in sites:

item=FjsenItem()

item['title']=site.select('a/text()').extract()

item['link'] = site.select('a/@href').extract()

item['addtime']=site.select('span/text()').extract()

items.append(item)

return items name:是确定蜘蛛的名称。它必须是独特的，就是说，你不能设置相同的名称不同的蜘蛛。 allowed_domains：这个很明显，就是允许的域名，或者说爬虫所允许抓取的范围仅限这个列表里面的域名。 start_urls：是一个网址列表，蜘蛛会开始爬。所以，第一页将被列在这里下载。随后的网址将生成先后从数据中包含的起始网址。我这里直接