scrapy 登录

登录网站http://c.biancheng.net

登录成功会显示 xxx在线

import scrapy


class BianchengItem(scrapy.Item):
    url = scrapy.Field()      
    user = scrapy.Field()     

# -*- coding:utf-8 -*-
from scrapy.spider import CrawlSpider,Request
from haoduofuli.items import HaoduofuliItem
import scrapy


account = 'hunyxv'
pwd = '密码'

class myspider(CrawlSpider):
    name = 'biancheng'
    allowed_domains = ['biancheng.net']

    def start_requests(self):
        url = 'http://vip.biancheng.net/login.php'
        formdate = {
            'username':account,
            'password': pwd,
            'submit': '登    录'
        }
        return [scrapy.FormRequest(url,formdata=formdate,callback = self.logined_in)]

    def logined_in(self,response):
        lnk = 'http://vip.biancheng.net/'
        return Request(lnk,callback = self.parse_item)

    def parse_item(self,response):
        item = HaoduofuliItem()
        item['url'] = response.url
        try:
            item['user'] = response.xpath('//*[@id="user-info"]/text()').re(u'(.+在线).*')[0].replace('\t','')
        except:
            item['user'] = response.xpath('//*[@id="user-info"]/a/text()').extract()[0]

        print(u'%s'%item['user'])
        return item

表单数据获取请参考：http://cuiqingcai.com/3952.html/2

start_requests()
该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个Request。
当spider启动爬取并且未制定URL时，该方法被调用。 当指定了URL时，make_requests_from_url() 将被调用来创建Request对象。 该方法仅仅会被Scrapy调用一次，因此您可以将其实现为生成器。
该方法的默认实现是使用 start_urls 的url生成Request。
如果您想要修改最初爬取某个网站的Request对象，您可以重写(override)该方法。 例如，如果您需要在启动时以POST登录某个网站，你可以这么写:

def start_requests(self):
    return [scrapy.FormRequest("http://www.example.com/login",
                               formdata={'user': 'john', 'pass': 'secret'},
                               callback=self.logged_in)]

def logged_in(self, response):
    # here you would extract links to follow and return Requests for
    # each of them, with another callback
    pass

make_requests_from_url(url)
该方法接受一个URL并返回用于爬取的 Request 对象。 该方法在初始化request时被 start_requests() 调用，也被用于转化url为request。

默认未被复写(overridden)的情况下，该方法返回的Request对象中， parse() 作为回调函数，dont_filter参数也被设置为开启。