初试Scrapy（三）上---CSDN自动登录获取博客分类列表

初试Scrapy（三）上—CSDN自动登录获取博客分类列表

上一篇文章中初试Scrapy（二）—抓取豆瓣电影排行TOP250实验，通过Scrapy框架简单实现了一个豆瓣TOP250电影排行的小例子，这篇文章来学习下Scrapy框架下创建工程，同样我们给自己定一个小目标—实现CSDN自动登录，并且获取博客分类列表。为了不至于文章太长，这篇文章我打算分上下两篇，上篇主要是记录下不通过Scrapy框架实现CSDN自动登录获取博客分类列表，下篇文章中将完整的解释Scrapy创建文件的过程，并且对比实现CSDN自动登录获取博客分类列表功能。
废话不多说，直接上第一部分不通过Scrapy框架实现的代码：

# -*- coding: utf-8 -*-
from fake_useragent import UserAgent
import urllib
import urllib2
import cookielib
import re


class CsdnAutoLogin(object):
    def __init__(self, username, password):
        self.url = 'http://passport.csdn.net/account/login'
        self.username = username
        self.password = password
        self.error_info = ''
        self.login_status = 0
        # the redirect url , after login succeed
        self.redirect = ''
        self.opener = CsdnAutoLogin.create_cookie()

    @staticmethod
    def create_cookie():
        # '创建cookie'
        cookie = cookielib.CookieJar()
        cookie_proc = urllib2.HTTPCookieProcessor(cookie)
        return urllib2.build_opener(cookie_proc)

    def get_key_before_login(self):
        # '在登录之前获取随机key'
        html = self.opener.open(self.url).read().decode("utf8")
        patten1 = re.compile(r'name="lt" value="(.*?)"')
        patten2 = re.compile(r'name="execution" value="(.*?)"')
        lt = patten1.search(html)
        execution = patten2.search(html)
        return {'lt': lt.group(1), 'execution': execution.group(1)}

    @property
    def login(self):
        # '登录csdn'
        response = None
        # for random useragent
        ua = UserAgent()
        res = self.get_key_before_login()
        opener = self.opener
        post_data = {
            'username': self.username,
            'password': self.password,
            'lt': res['lt'],
            'execution': res['execution'],
            '_eventId': 'submit',
        }
        opener.addheaders = [('host', 'passport.csdn.net'),
                             ('User-Agent', ua.random),
                             ('Referer', 'http://passport.csdn.net/account/login')
                             ]
        post_data = urllib.urlencode(post_data).encode(encoding='UTF8')
        try:
            response = opener.open(self.url, data=post_data)
        except urllib2.URLError, err:
            print(err)
        finally:
            # HTTP Error 500: Internal Server Error
            if response is None:
                self.login_status = 0
                self.redirect = ''
                self.error_info = u'服务器错误 HTTP Error 500: Internal Server Error'
                raise Exception(self.error_info)
            else:
                text = response.read().decode('utf-8', 'ignore')
                pattenerror = u'<span id="error-message">帐户名或登录密码不正确'
                error = re.search(pattenerror, text)
                if error is None:
                    self.login_status = 1
                    patten = re.compile(r'var redirect = "(.*?)"')
                    self.redirect = patten.search(text).group(1)
                else:
                    self.login_status = 0
                    self.redirect = ''
                    self.error_info = u'帐户名或登录密码不正确'
                    raise Exception(self.error_info)

    def visit_redirect_after_login(self, redirect):
        # '在登录之后访问跳转'
        opener = self.opener
        response = opener.open(redirect)
        # text = response.read().decode('utf-8', 'ignore')
        # tools.log(text, 'csdn_test.html')
        response.read().decode('utf-8', 'ignore')

    def visit_blog_category(self):
        # '访问博客分类'
        opener = self.opener
        response = opener.open('http://write.blog.csdn.net/category')
        text = response.read().decode('utf-8', 'ignore')
        return CsdnAutoLogin.handle_blog_category(text)

    @staticmethod
    def handle_blog_category(text):
        # '处理博客分类'
        pattern = r"<td class='tdleft'><span>(.*?)</span></td>([\s\S]*?)<a href='#([0-9]+)'"
        matchs = re.findall(pattern, text)
        res = []
        if matchs:
            for i in matchs:
                res.append({'name': i[0], 'id': i[2]})
        return res

    def add_blog_category(self, name):
        # '添加博客分类，返回博客分类列表'
        opener = self.opener
        name = name.encode('utf-8', 'ignore')
        name = urllib.quote(name)
        url = 'http://write.blog.csdn.net/category?t=add&name=%s' % name
        response = opener.open(url)
        text = response.read().decode('utf-8', 'ignore')
        return CsdnAutoLogin.handle_blog_category(text)

    def edit_blog_category(self, blog_id, name):
        # '修改博客分类名称'
        opener = self.opener
        name = name.encode('utf-8', 'ignore')
        name = urllib.quote(name)
        url = 'http://write.blog.csdn.net/category?t=edit&id=%s&name=%s' % (blog_id, name)
        response = opener.open(url)
        text = response.read().decode('utf-8', 'ignore')
        return CsdnAutoLogin.handle_blog_category(text)

    def main(self):
        # '主方法'
        try:
            self.login
        except Exception, err:
            print(err.message)
        finally:
            if self.login_status == 1:
                # print(self.redirect)
                categorys = self.visit_blog_category()
                for i in categorys:
                    print(i['name'].encode("UTF-8"))


if __name__ == '__main__':
    csdn = CsdnAutoLogin('aaaaaaaaaaa', 'bbbbbbbbb')
    csdn.main()

我的Python版本是：Python 2.7.5代码参考网上一哥们实现的，修改然后测试通过。下面是在pycharm上运行的输出：

/usr/bin/python2.7 /home/james_xie/PycharmProjects/Csdn_AutoLogin/csdn_autologin.py
C/C++学习
Gstreamer学习
Qt 学习
计算机网络通信
交叉编译环境的建立
shell脚本学习
Android学习
Python学习

Process finished with exit code 0

由于程序大体上都是参考前人的，总体上没遇到什么难题，不过还是有几个问题折腾了一会：
1, user-agent问题，在网上https://pypi.python.org/pypi/fake-useragent找到这样一个库，完美解决之，但是第一次运行的时候会有点慢，因为这个库会在会在第一次运行的时候收集当前所有可用的user-agent保存到你的操作系统的临时目录下面如：/tmp。
2, 服务器返回“HTTP Error 500: Internal Server Error”错误，没有找到很好的解决办法，网上有遇到类似问题多说是服务器那边问题，通过上面加载fake-useragent库之后，这个问题几乎很少再出现，然后通过添加try...except语句来对这个问题进行捕捉，后面就没更深入的研究。