scrapy 示例代码及配置文件

转载 2013年12月02日 11:40:31

【请初学者作为参考,不建议高手看这个浪费时间】

 

上一篇文章,我们抓取到了一大批代理ip,本篇文章介绍如何实现downloaderMiddleware,达到随即使用代理ip对目标网站进行抓取的。

 

抓取的目标网站是现在炙手可热的旅游网站 www.qunar.com, 目标信息是qunar的所有seo页面,及页面的seo相关信息。

qunar并没有一般网站具有的 robots.txt文件,所以无法利用列表进行抓取,但是,可以发现,qunar的seo页面主要部署在

http://www.qunar.com/routes/  下,这个页面为入口文件,由此页面及此页面上所有带有routes的链接开始递归的抓取所有带有routes/字段的链接即可。

 

开始吧

目标信息为目标站点的seo信息,所以为head中的meta和description字段。

复制代码
 1 # Define here the models for your scraped items
 2 #
 3 # See documentation in:
 4 # http://doc.scrapy.org/topics/items.html
 5 
 6 from scrapy.item import Item, Field
 7 
 8 class SitemapItem(Item):
 9     # define the fields for your item here like:
10     # name = Field()
11     url = Field()
12     keywords = Field()
13     description = Field()
复制代码

因为要使用代理ip,所以需要实现自己的downloadermiddlerware,主要功能是从代理ip文件中随即选取一个ip端口作为代理服务,代码如下

复制代码
 1 import random
 2 
 3 class ProxyMiddleware(object):
 4     def process_request(self, request, spider):
 5         fd = open('/home/xxx/services_runenv/crawlers/sitemap/sitemap/data/proxy_list.txt','r')
 6         data = fd.readlines()
 7         fd.close()
 8         length = len(data)
 9         index  = random.randint(0, length -1)
10         item   = data[index]
11         arr    = item.split(',')
12         request.meta['proxy'] = 'http://%s:%s' % (arr[0],arr[1])
复制代码

 

最重要的还是爬虫,主要功能是提取页面所有的链接,把满足条件的url实例成Request对象并yield, 同时提取页面的keywords,description信息,以item的形式yield,代码如下:

复制代码
 1 from scrapy.selector import HtmlXPathSelector
 2 from sitemap.items import SitemapItem
 3 
 4 import urllib
 5 import simplejson
 6 import exceptions
 7 import pickle
 8 
 9 class SitemapSpider(CrawlSpider):
10     name = 'sitemap_spider'
11     allowed_domains = ['qunar.com']
12     start_urls = ['http://www.qunar.com/routes/']
13 
14     rules = (
15         #Rule(SgmlLinkExtractor(allow=(r'http://www.qunar.com/routes/.*')), callback='parse'),
16         #Rule(SgmlLinkExtractor(allow=('http:.*/routes/.*')), callback='parse'),
17     )
18 
19     def parse(self, response):
20         item = SitemapItem()
21         x         = HtmlXPathSelector(response)
22         raw_urls  = x.select("//a/@href").extract()
23         urls      = []
24         for url in raw_urls:
25             if 'routes' in url:
26                 if 'http' not in url:
27                     url = 'http://www.qunar.com' + url
28                 urls.append(url)
29 
30         for url in urls:
31             yield Request(url)
32 
33         item['url']         = response.url.encode('UTF-8')
34         arr_keywords        = x.select("//meta[@name='keywords']/@content").extract()
35         item['keywords']    = arr_keywords[0].encode('UTF-8')
36         arr_description     = x.select("//meta[@name='description']/@content").extract()
37         item['description'] = arr_description[0].encode('UTF-8')
38 
39         yield item
复制代码

 

pipe文件比较简单,只是把抓取到的数据存储起来,代码如下

复制代码
 1 # Define your item pipelines here
 2 #
 3 # Don't forget to add your pipeline to the ITEM_PIPELINES setting
 4 # See: http://doc.scrapy.org/topics/item-pipeline.html
 5 
 6 class SitemapPipeline(object):
 7     def process_item(self, item, spider):
 8         data_path = '/home/xxx/services_runenv/crawlers/sitemap/sitemap/data/output/sitemap_data.txt'
 9         fd = open(data_path, 'a')
10         line = str(item['url']) + '#$#' + str(item['keywords']) + '#$#' + str(item['description']) + '\n'
11         fd.write(line)
12         fd.close
13         return item
复制代码

最后附上的是setting.py文件

复制代码
# Scrapy settings for sitemap project
#
# For simplicity, this file contains only the most important settings by
# default. All the other settings are documented here:
#
#     http://doc.scrapy.org/topics/settings.html
#

BOT_NAME = 'sitemap hello,world~!'
BOT_VERSION = '1.0'

SPIDER_MODULES = ['sitemap.spiders']
NEWSPIDER_MODULE = 'sitemap.spiders'
USER_AGENT = '%s/%s' % (BOT_NAME, BOT_VERSION)

DOWNLOAD_DELAY = 0

ITEM_PIPELINES = [
    'sitemap.pipelines.SitemapPipeline'
]

DOWNLOADER_MIDDLEWARES = {
    'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
    'sitemap.middlewares.ProxyMiddleware': 100,
    }

CONCURRENT_ITEMS = 128
CONCURRENT_REQUEST = 64
CONCURRENT_REQUEST_PER_DOMAIN = 64


LOG_ENABLED = True
LOG_ENCODING = 'utf-8'
LOG_FILE = '/home/xxx/services_runenv/crawlers/sitemap/sitemap/log/sitemap.log'
LOG_LEVEL = 'DEBUG'
LOG_STDOUT = False
复制代码

 

对scrapy的介绍将告一段落,更复杂的应用还没有接触过,想等看完redis的源码,再来研究下scrapy的源码~~ 希望通过分享能给正在入门scrapy的童鞋带来帮助~

 

 

 

喜欢一起简单,实用的东西,拒绝复杂花哨,我不是GEEK.

Python爬虫系列之----Scrapy(六)settings.py配置文件详解

让我们先来看下它里面的内容: # -*- coding: utf-8 -*- # Scrapy settings for demo1 project # # For simplicity, th...
  • u011781521
  • u011781521
  • 2017年04月15日 23:41
  • 4952

23种设计模式 UML 类图及对应示例代码 (一)

1.DoFactory.GangOfFour.Abstract.Structural                  CodeCode highlighting produced by Actipr...
  • liyuandong1985
  • liyuandong1985
  • 2009年11月30日 21:49
  • 594

Scrapy源码分析(一):框架入口点和配置文件加载

本系列文章涉及到的Scrapy为1.2.1版本,运行环境为py2.7。 首先我们查看一下setup.py: entry_points={ 'console_scripts': ['sc...
  • zcy19941015
  • zcy19941015
  • 2016年11月27日 11:48
  • 3357

Oracle存储过程简单使用及示例代码

简单的说存储过程是为了完成某个数据库中的特定功能而编写的语句集,该语句集包括SQL语句(对数据的增删改查)、条件语句和循环语句等。...
  • AikesLs
  • AikesLs
  • 2018年01月06日 17:33
  • 115

scrapy deploy 配置文件的说明

配置文件的说明和格式 scrapinghub.yml projects: default:project_id stacks: default: scrapy:1.1-py3 requirem...
  • henry620
  • henry620
  • 2016年11月17日 13:27
  • 301

windows下scrapy安装步骤

1.      官网下载python2.7.12并安装在路径D:/Python27目录下; 在windows命令行下进入目录,并输入python,显示: 则python安装成功 2.      配置...
  • shanshanhi
  • shanshanhi
  • 2016年07月05日 16:27
  • 14284

Scrapy设置之自定义命令

COMMANDS_MODULE允许开发者自定义命令,假设工程名字为properties,在工程的根目录有一个hi.py文件内容如下:from scrapy.commands import Scrapy...
  • Q_AN1314
  • Q_AN1314
  • 2016年04月08日 12:38
  • 1161

基于scrapy框架爬虫学习小结

在之前完全没有接触过爬虫的我,甚至都不知道爬虫是何物,然而在数据挖掘课程第二次大作业中却要我们小组直接用scrapy框架做一个爬取朋友圈的爬虫,一接到作业的我们马上就懵逼了,别说是scrapy了,我们...
  • qq_29245097
  • qq_29245097
  • 2016年06月04日 23:29
  • 9364

Scrapy爬虫入门教程一 安装和基本使用

Scrapy爬虫入门教程 安装和基本使用
  • Inke88
  • Inke88
  • 2017年03月03日 19:44
  • 2969

10 scrapy框架解读--深入理解爬虫原理

scrapy框架结构图 Scrapy Engine: 负责组件之间数据的流转,当某个动作发生时触发事件 Scheduler: 接收requests,并把他们入队,以便后续的调度 Downloade...
  • u010155229
  • u010155229
  • 2016年06月01日 15:36
  • 2779
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:scrapy 示例代码及配置文件
举报原因:
原因补充:

(最多只允许输入30个字)