python登录新浪微博并抓取内容

最新推荐文章于 2022-03-22 14:49:08 发布

ljthdu

最新推荐文章于 2022-03-22 14:49:08 发布

阅读量1.8k

点赞数

分类专栏： python 文章标签： python 新浪微博爬虫

本文链接：https://blog.csdn.net/ljthdu/article/details/24865501

版权

python 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

一直听说python简单易用，最近看了一下python，发现是简单不少，语法比较随便，用比较多的库拿来直接用。用来写爬虫很简单，网上用很多例子，糗百，豆瓣妹子和百度贴吧等，不过这些网站登录起来比较简单。也有一些比较麻烦的，例如新浪微博，下面我就把我自己弄得一个新浪微博的爬虫整理一下。。

所用工具：Python 2.7.6 HttpFox

Python 2.7.6 ：编译环境

HttpFox ：一款http协议分析插件，分析页面请求和响应的时间、内容、以及浏览器用到的COOKIE等（具体用法这里就不多介绍）

第一步：

通过有关资料可知，新浪微博的登录的过程比较麻烦，客户端用js预先对用户名、密码都进行了加密，而且在POST之前会GET 一组参数，这也将作为POST_DATA 的一部分，所以就不能用通常的那种简单方法来模拟POST 登录

这里我们用HttpFox插件来验证一下。

如图，（1）先get一组数据，然后（2）再post

get的内容：

分别为：retcode,servertime,pcid,nonce,pubkey,rsakv,showpin,exectime,其中servertime，nonce字段用于对密码的加密，并且原封不动的posh回去，这些将在post方法中看到；pubkey和rsakv用于rsa2加密。

post的内容（POST Data）：

我们发现有很多字段，其中su，sp为加密过后的用户名和密码，servertime和nonce是get得到内容，并且由pwencode 字段可知，加密方式为rsa2

经过第一步的分析，下面我们用代码来一步一步的实现：

第二步，首先实现get：新建getdata.py文件

#-*- coding: UTF-8 -*-
import urllib2
import re
import json
import string

class GET_DATA:
    def __init__(self):
        #获取servertime ,nonce ,publey,rsakv的网址
        self.url = 'http://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=&rsakt=mod&client=ssologin.js(v1.4.11)&_=1398760051250'
        
    def get_data(self):
        data = urllib2.urlopen(self.url).read()
        p = re.compile('\((.*)\)')
        try:
            json_data = p.search(data).group(1)
            data = json.loads(json_data)
            servertime = str(data['servertime'])
            nonce = data['nonce']
            pubkey = data['pubkey']
            rsakv = data['rsakv']
            return nonce,rsakv,servertime,pubkey
        except:
            print '不能获取servertime 和 data'
            return None

注：self.url 的网址为第一步HttpFox插件中显示的get方法所指向的URL；

get_data方法返回servertime，nonce等字段

第三步，对用户名和密码进行加密，新建datadeal.py文件

# -*- coding:UTF-8 -*-
import urllib
import hashlib
import rsa
import binascii
import string
import base64
import getdata

class data_deal:
    def __init__(self,username,password):
        self.username = username
        self.password = password
        self.gd = getdata.GET_DATA()
        self.nonce,self.rsakv,self.servertime,self.pubkey = self.gd.get_data() 

    #获取nonce
    def get_nonce(self):
        return self.nonce

    #获取servername
    def get_servername(self):
        return self.servertime

    #获取 rsakv
    def get_rsakv(self):
        return self.rsakv
    
    #username 经过了BASE64 计算：
    #username = base64.encodestring( urllib.quote(username) )[:-1]    
    def get_username(self):
        username_ = urllib.quote(self.username)
        username = base64.encodestring(username_)[:-1]
        return username

    #password经过rsa加密
    def get_pwd(self):
        rsaPublickey = int(self.pubkey,16)  
        key = rsa.PublicKey(rsaPublickey,65537)
        
        message = str(self.servertime) + '\t' + str(self.nonce) + '\n' + str(self.password)
        pwd_ = rsa.encrypt(message,key)
        pwd = binascii.b2a_hex(pwd_)
        return pwd
        
    def print_data(self):
        print self.nonce
        print self.rsakv
        print self.servertime
        print self.pubkey

第四步，实现登录功能，先贴代码，新建login.py文件

# -*- coding:UTF-8 -*-
import datadeal
import urllib
import urllib2
import cookielib
import re

class log_in:
    def __init__(self,username,password):
        self.dd = datadeal.data_deal(username,password)
        self.url = 'http://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.11)'

    #登录
    def login(self):
        cj = cookielib.LWPCookieJar()
        cookie_support = urllib2.HTTPCookieProcessor(cj)
        opener = urllib2.build_opener(cookie_support,urllib2.HTTPHandler)
        urllib2.install_opener(opener)
        post_data = {
            'entry' : 'weibo',
            'gateway' : '1',
            'from'  : '',
            'savestate' : '7',
            'useticket' : '1',
            'pagerefer' : 'http://weibo.com/signup/signup.php',
            'vsnf'   : '1',
            'su'  : '',
            'service' : 'miniblog',
            'servertime': '',
            'nonce': '',
            'pwencode': 'rsa2',
            'rsakv' : '',
            'sp' :'',
            'encoding' : 'UTF-8',
            'prelt' : '115',
            'url' : 'http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack',
            'returntype' : 'META'
            }
        post_data['servertime'] = self.dd.get_servername()
        post_data['nonce'] = self.dd.get_nonce()
        post_data['su'] = self.dd.get_username()
        post_data['sp'] = self.dd.get_pwd()
        post_data['rsakv'] = self.dd.get_rsakv()

        post_data = urllib.urlencode(post_data)
        headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1;rv:26.0) Gecko/20100101 Firefox/26.0'}
        req = urllib2.Request(
                              url = self.url,
                              data = post_data,
                              headers = headers
                              )
        result = urllib2.urlopen(req)
        text = result.read()
        print text
        p = re.compile('location\.replace\([\'"](.*?)[\'"]\)')
        try:
            login_url = p.search(text).group(1)
            print u'匹配url:'
            print login_url
            html = urllib2.urlopen(login_url)
            data = html.read()
            print u'登录成功！'
            print data
        except:
            print u'登录失败！'

注：self.url 为HttpFox插件POST方法后显示的URL

post_data根据插件POST Data中的内容构造，将其中的servertime，nonce，su,sp字段替换成经过处理的数据

至此，新浪微博的登录工作已经结束

最后：测试，新建main.py

# -*- coding: UTF-8 -*-
import login
import urllib2

username = raw_input(u'请输入用户名：')
password = raw_input(u'请输入密码：')
mylog = login.log_in(username,password)
mylog.login()


##测试登录成功
myUrl = '你的微薄主页URL'
res = urllib2.urlopen(myUrl)
data = res.read()
print data

参考资料（python的基础）：http://blog.csdn.net/column/details/why-bug.html

源代码下载地址：https://github.com/lijuntao/sina_weibo_login