Scrapy学习2

使用scrapy登陆网站, 并且抓取信息:

1. 开始的登陆的时候请输入错误的用户名或者密码,然后看到实际上跳转的是哪个地址, 我们需要使用实际的地址. 发起一个start request

  def start_requests(self):
        captcha_url = "login的url"
        return [scrapy.Request(
            url=captcha_url,
            headers=self.headers,
            meta={'cookiejar': 1},
            callback=self.post_login,
            dont_filter=True
        )]

2. start request执行成功之后的callback是post login, 就是创造数据(用户名密码)进行登录. 因为我爬取的这个网站的用户名和密码进行了AES加密, 所以我需要把加密成一样的格式进行post请求.
   前端的加密代码:

$('#login_form').fadeOut(1000, function() {
            $('#modal').fadeIn(1000, function() {
                var a = $('#login-sid-session').val()
                  , n = $('#login-key-session').val()
                  , o = $('#login-iv-session').val()
                  , e = CryptoJS.enc.Hex.parse(n)
                  , i = CryptoJS.enc.Hex.parse(o)
                  , t = CryptoJS.AES.encrypt($('#login_username').val(), e, {
                    iv: i
                });
                var r = CryptoJS.AES.encrypt($('#login_password').val(), e, {
                    iv: i
                });
                $.ajax({
                    url: Routing.generate('main_home_validate'),
                    type: 'POST',
                    data: {
                        login_username: t.ciphertext.toString(CryptoJS.enc.Base64),
                        login_password: r.ciphertext.toString(CryptoJS.enc.Base64)
                    },

相对应的python代码:

def crypto_aes_encrypt(response):
    mode = AES.MODE_CBC
    key = response.xpath('//*[@id="login-key-session"]/@value').extract()[0]
    iv = response.xpath('//*[@id="login-iv-session"]/@value').extract()[0]
    key = a2b_hex(key)
    iv = a2b_hex(iv)
    return AES.new(key, mode, iv)


def pad(s):
    return s + (16 - len(s) % 16) * chr(16 - len(s) % 16)
    
username =
password = 
username = pad(username).encode('utf-8')
AESCipher = crypto_aes_encrypt(response)
username = AESCipher.encrypt(username)
username  = base64.b64encode(username )
password = pad(password).encode('utf-8')
password= AESCipherp.encrypt(password)
 password= base64.b64encode(password)

把所有处理好的用户名密码进行post请求之后 就会返回success 登陆成功.

 def post_login(self, response):
  	   post_url = "错误用户名密码实际的url ()validate url)"
        post_data = {
            "source": 'None',
             "redir": '重定向的url',
            'login_username': username,
            'login_password': password
        }

        yield FormRequest.from_response(
            response,
            url=post_url,
            method='POST',
            meta={"cookiejar": response.meta["cookiejar"]},
            headers=self.headers,
            formdata=post_data,
            callback=self.after_login,
            dont_filter=True
        )

3. 登陆成功之后, 就可以到达主页 home

 def after_login(self, response):
        body = response.body.decode("utf-8")  # 登录后可以查看一下登录响应信息
        print('登录响应结果：', body)
        routeUrl = "网页的home"
        yield scrapy.Request(
            url=routeUrl,
            headers=self.headers,
            meta={"cookiejar": response.meta["cookiejar"]},
            callback=self.login_home,
            dont_filter=True
        )

4. 接下来就可以一步一步爬取自己想要的数据

    def login_home(self, response):
        formadata ={}
        yield FormRequest(
            url="爬取的数据的那个request",
            meta={"cookiejar": response.meta["cookiejar"]},
            method='POST',
            headers=self.headers,
            formdata=formadata,
            dont_filter=True,
            # 如果不指定callback，那么默认会使用parse函数
        )

5. 保存到数据库
   一些配置信息:
   seetings.py

# start MySQL database configure setting
MYSQL_HOST = ''
MYSQL_DBNAME = 'test'
MYSQL_USER = ''
MYSQL_PASSWD = ''
ITEM_PIPELINES = {
    'smoz.pipelines.SmozPipeline': 300,
}

pipelines.py

class SmozPipeline(object):
    def __init__(self):
        dbargs = dict(
            host='',
            db='test',
            user='',
            passwd='',
            cursorclass=MySQLdb.cursors.DictCursor,
            charset='utf8',
            use_unicode=True
        )
        self.dbpool = adbapi.ConnectionPool('MySQLdb', **dbargs)

    def process_item(self, item, spider):
        res = self.dbpool.runInteraction(self.insert_into_table, item)
        return item

    def insert_into_table(self, conn, item):
        conn.execute("insert 语句")

保存:

     # 正常的分析页面请求
    def parse(self, response):
        item = SmozItem()
        items =[]
        jsons = response.body.decode("utf-8")
        jj = json.loads(jsons)
        print(jj["data"])
        sss = jj["data"]
        for jss in sss:
            item["id"] = jss["id"]
            items.append(item)
            yield item

6. 结果: