python3+urllib打造新浪微博爬虫，真的很easy-CSDN博客

前言（一些废话）

最近试了一下网页版的(weibo.com)和移动端的(m.weibo.cn)，网页版的解析一大堆网页实在是太麻烦，移动端只需要请求，直接返回json数据，这里对这两种方式做了下优缺点对比

网页版

优点

用户信息获取的很全面，出生日期、性取向、感情状况是移动端不能获取的
微博、粉丝可以抓取的比较全面
可以学习xpath、bs4、正则的网页解析

缺点

要花钱哦，因为多账号登录需要验证码，验证码识别的话，用云打码（没用过）是收费的
解析页面恶心的一批，要写正则、要去看网页...比较麻烦

移动版

优点

不需要验证码
直接解析json

缺点

个人信息不全
微博、粉丝分页到了250之后，就没有数据返回了，暂时还没解决这个是为什么。

现在用的是移动版，配了5个微博账号，5个线程在跑，电脑扔在寝室跑，不敢说一天多少多少数据，但现在保持在一天用户30W、微博20W左右的数据量...只跑了两天...

源码的话，看后面....

正题

其实思路很简单，就是通过urllib模拟请求登录、发请求，然后解析json，存数据库...当然程序还有很多优化的地方，以后慢慢改进

环境

python3
django 1.11.3
mysql 5.7.17
fiddler 4

抓取

写爬虫的套路就是，访问页面，分析页面行为，也就是页面的每一个操作都发了什么样的请求，返回了什么数据，记住这个套路，还有什么爬虫不能写。

模拟登陆

打开m.weibo.cn，打开fiddler 4，开启https请求的捕捉，不知道怎么开自行google
当你输入好账号、密码点击登录的时候，看fiddler4捕获的请求

post请求，当然是看看他发了什么数据啦....

再看看response的数据

返回了用户登录的状态，uid...
你可以访问 www://weibo.com/u/ + 上图的uid加一波微博关注（真无耻，强行吸粉）

密码没有做任何加密处理，嘻嘻，很简单吧，现在只要模拟个post请求就行了。是不是很简单？

def login(user_name, password, opener):
    LOGGER.info(user_name + ' login')
    args = {
        'username': user_name,
        'password': password,
        'savestate': 1,
        'ec': 0,
        'pagerefer': 'https://passport.weibo.cn/signin/'
                     'welcome?entry=mweibo&r=http%3A%2F%2Fm.weibo.cn%2F&wm=3349&vt=4',
        'entry': 'mweibo',
        'wentry': '',
        'loginfrom': '',
        'client_id': '',
        'code': '',
        'qq': '',
        'hff': '',
        'hfp': ''
    }

    post_data = urllib.parse.urlencode(args).encode()
    try_time = 0
    while try_time < constants.TRY_TIME:
        try:
            resp = opener.open(constants.LOGIN_URL, post_data)
            resp_json = json.loads(resp.read().decode())
            if 'retcode' in resp_json and resp_json['retcode'] == '20000000':
                LOGGER.info("%s login successful" % user_name)
                break
            else:
                LOGGER.warn('login fail:%s' % str(resp_json))
                sleep(10)
                try_time += 1
        except :
            LOGGER.error("login failed")
            LOGGER.error(traceback.print_exc())
            sleep(10)
            try_time += 1
            LOGGER.info('try %d time' % try_time)

看看写的模拟登录能不能用，当然要测试啦，这个测试当然是你自己写啦，反正我已经测试过了，如果不出意外的话，你的测试会不通过，如下URLError

Traceback (most recent call last):
  File "E:\codingspace\python\Jpider\spiders\weibo\weibo_http.py", line 40, in login
    resp = opener.open(constants.LOGIN_URL, post_data)
  File "D:\ProgramData\Anaconda3\lib\urllib\request.py", line 526, in open
    response = self._open(req, data)
  File "D:\ProgramData\Anaconda3\lib\urllib\request.py", line 544, in _open
    '_open', req)
  File "D:\ProgramData\Anaconda3\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "D:\ProgramData\Anaconda3\lib\urllib\request.py", line 1361, in https_open
    context=self._context, check_hostname=self._check_hostname)
  File "D:\ProgramData\Anaconda3\lib\urllib\request.py", line 1320, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:749)>

哎呀，好烦，又报错，怎么办呢，stackoverflow欢迎你，传送门https://stackoverflow.com/，有错自己查，stackoverflow能解决99%你遇到的问题。

关注信息抓取

登录就那么轻松的搞定了，用户信息、微博、粉丝、关注的套路都是一样，分析拦截的请求，看哪个请求是返回数据的，然后自己模拟这个请求，就ok啦。

这里就只做用户关注的抓取示例，其他的自己去依葫芦画瓢。
最近在看环法，自己也是个骑行爱好者...现在天热...都不能出去骑了，很绝望。
就以环法自行车赛这个用户的关注信息为例吧

现在你可以借助chrome的工具栏看请求，windows下的快捷键是F12

查看他的关注->全部关注。你会发现浏览器发了如下的请求

你可以直接复制这个请求，在浏览器上打开。

可以看到这个请求返回的就是他的关注用户的json数据，而python中的json模块直接解析，很方便吧。

看看这个url[点开试试?]

https://m.weibo.cn/api/container/getIndex?containerid=231051_-_followers_-_5901021570&luicode=10000011&lfid=1005055901021570&featurecode=20000320&type=uid&value=5901021570

该用户的uid为5901021570，url是怎么拼的不用再多说了吧。

当然还有分页，自己往下拖，你可以看到url上会多了个page的参数，那个就是页号

数据都拿到了，还等什么？解析完后想怎么存怎么存吧。

    def grab_user_follower(self, user_id):
        opener = weibo_http.get_openner()
        user = self.grab_user(user_id)
        att_num = user.attNum
        max_page = int(int(att_num) / 20)
        page = 1
        while page <= max_page:
            resp = opener.open(constants.FOLLOWER_URL_PATTERN % (user_id, user_id, str(page)))
            self.logger.info(constants.FOLLOWER_URL_PATTERN % (user_id, user_id, str(page)))
            r = resp.read()
            resp_json = json.loads(r.decode())
            if 'msg' in resp_json:
                break
            for card in resp_json['cards']:

                for cg in filter(lambda c: 'user' in c, card['card_group']):
                    follower = dao.save_user_info(cg['user'])
                    dao.save_relationship(follower, user)
                    self.id_enqueue(follower.id, self.user_set_lock, self.CRAWLED_USERS, self.user_queue)
            page += 1