Ajax使用,爬取微博正文,点赞,评论数。

本人声明,该文章仅为学习所用,未做任何其他用途。

各位看官老爷们大家好,这一次我们来聊聊使用Ajax爬取微博评论数,正文,点赞数。

首先我们想想思路。

一、最开始的,也是我们用的最多和必要的,模拟浏览器爬取页面。这一点想必不用多说了。

headers = {
    'Host': 'm.weibo.cn',
    'Referer': 'https://m.weibo.cn/u/2830678474',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
}

二、请求之后就是找规律的,和上次一样,这次就不放图了,经观察发现page值增加1

 

三、提取如下。

item = item.get('mblog', {})
                weibo = {}
                weibo['id'] = item.get('id')
                weibo['text'] = pq(item.get('text')).text()
                weibo['attitudes'] = item.get('attitudes_count')
                weibo['comments'] = item.get('comments_count')
                weibo['reposts'] = item.get('reposts_count')
                yield weibo

四、请求代码如下,成功失败返回值。

base_url = 'https://m.weibo.cn/api/container/getIndex?'
headers = {
    'Host': 'm.weibo.cn',
    'Referer': 'https://m.weibo.cn/u/2830678474',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
}
client = MongoClient()
db = client['weibo']
collection = db['weibo']
max_page = 10


def get_page(page):
    params = {
        'type': 'uid',
        'value': '2830678474',
        'containerid': '1076032830678474',
        'page': page
    }
    url = base_url + urlencode(params)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.json(), page
    except requests.ConnectionError as e:
        print('Error', e.args)

五、主函数,for循环遍历想循环的次数,也就是想爬取的页面数 ,这里我们设置成10.

if __name__ == '__main__':
    for page in range(1, max_page + 1):
        json = get_page(page)
        results = parse_page(*json)
        for result in results:
            print(result)

如上所示。

完整代码如下:

import requests
from urllib.parse import urlencode
from pyquery import PyQuery as pq
from pymongo import MongoClient

base_url = 'https://m.weibo.cn/api/container/getIndex?'
headers = {
    'Host': 'm.weibo.cn',
    'Referer': 'https://m.weibo.cn/u/2830678474',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
}
client = MongoClient()
db = client['weibo']
collection = db['weibo']
max_page = 10


def get_page(page):
    params = {
        'type': 'uid',
        'value': '2830678474',
        'containerid': '1076032830678474',
        'page': page
    }
    url = base_url + urlencode(params)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.json(), page
    except requests.ConnectionError as e:
        print('Error', e.args)


def parse_page(json, page: int):
    if json:
        items = json.get('data').get('cards')
        for index, item in enumerate(items):
            if page == 1 and index == 1:
                continue
            else:
                item = item.get('mblog', {})
                weibo = {}
                weibo['id'] = item.get('id')
                weibo['text'] = pq(item.get('text')).text()
                weibo['attitudes'] = item.get('attitudes_count')
                weibo['comments'] = item.get('comments_count')
                weibo['reposts'] = item.get('reposts_count')
                yield weibo



if __name__ == '__main__':
    for page in range(1, max_page + 1):
        json = get_page(page)
        results = parse_page(*json)
        for result in results:
            print(result)

运行结果如下(ps:2019年7月19日23时):

E:\PY\venv\Scripts\python.exe E:/PY/Ajax.py
{'id': '4395852590201056', 'text': '哈哈哈哈哈哈哈哈哈哈哈哈', 'attitudes': 0, 'comments': 1, 'reposts': 0}
{'id': '4393921821587600', 'text': '老婆我爱你! 花絮慎点啊。', 'attitudes': 23, 'comments': 7, 'reposts': 1}
{'id': '4393850371867195', 'text': '执行力非常重要,做一个实干者。', 'attitudes': 4, 'comments': 0, 'reposts': 4}
{'id': '4393608914828988', 'text': '欧耶!!!!!@长泽牙妹\n济南', 'attitudes': 9, 'comments': 17, 'reposts': 0}
{'id': '4393563145925473', 'text': '叔叔要和我喝酒了。\n我好慌。 济南', 'attitudes': 13, 'comments': 20, 'reposts': 0}
{'id': '4393542569418003', 'text': '济南·济南西火车站', 'attitudes': 4, 'comments': 3, 'reposts': 0}
{'id': '4393534339190817', 'text': '快到了,快到了。\n感觉我的心脏在跳动。 德州·土桥村', 'attitudes': 6, 'comments': 8, 'reposts': 0}
{'id': '4393512038508966', 'text': '这个不错', 'attitudes': 4, 'comments': 1, 'reposts': 7}
{'id': '4393494594270054', 'text': '[加油]', 'attitudes': 3, 'comments': 1, 'reposts': 14}
{'id': '4393494317414100', 'text': '至关重要的一天,好紧张。\n小崔冲鸭!', 'attitudes': 8, 'comments': 5, 'reposts': 0}
{'id': '4393369499839135', 'text': '', 'attitudes': 1, 'comments': 3, 'reposts': 0}
{'id': '4392654118546216', 'text': '有些人就那么闲,有些人就那么忙。我总感觉时间不够用,为什么时间不能由一个人分给另一个人呢? 南极洲', 'attitudes': 6, 'comments': 5, 'reposts': 0}
{'id': '4392270675492220', 'text': '我老婆一个月瘦了八斤,快来围观我老婆的减肥秘籍!', 'attitudes': 2, 'comments': 2, 'reposts': 0}
{'id': '4392222500256063', 'text': '', 'attitudes': 3, 'comments': 0, 'reposts': 2}
{'id': '4391006243841457', 'text': '这年头表情包都能这样赚钱了!', 'attitudes': 13, 'comments': 2, 'reposts': 0}
{'id': '4390095707120866', 'text': "//@TURBODONG90507://@长泽牙妹:@崔庆才丨静觅 ?//@魔神弹豆子:what's your problem? 关键时刻李彦宏也知道中文搜索不靠谱。。", 'attitudes': 3, 'comments': 0, 'reposts': 0}
{'id': '4389902202380102', 'text': '?', 'attitudes': 1, 'comments': 0, 'reposts': 0}
{'id': '4389895348812529', 'text': '//@52nlp://@PKUCATer: //@科普君XueShu雪树:令人唏嘘//@浪里赤条小粗林:我的天啊……因为不想科研造假所以以死明志……', 'attitudes': 2, 'comments': 0, 'reposts': 6}
{'id': '4389893557746201', 'text': '回复@故梦怀旧://@故梦怀旧:被打服了,打成小迷弟了', 'attitudes': 1, 'comments': 0, 'reposts': 0}
{'id': '4389593736224777', 'text': '[加油]', 'attitudes': 1, 'comments': 0, 'reposts': 0}
{'id': '4389593417293668', 'text': '勇士库里克莱一哥还是很好的,经理教练格林都是些什么玩意...最后一哥还被交易了...真服 //@LeonLuo:挺好的 养好脚伤 回来打爆勇士', 'attitudes': 0, 'comments': 1, 'reposts': 1}
{'id': '4389592855488478', 'text': '格林一生黑!//@丽卷毛:格林吧,就是个大傻X,本事不大,脾气大……', 'attitudes': 0, 'comments': 0, 'reposts': 0}
{'id': '4389558529296223', 'text': '这作息有点病态...\n继续调整![加油] 北京 · 中关村', 'attitudes': 3, 'comments': 0, 'reposts': 0}
{'id': '4389138205679141', 'text': '俺一直是阿杜粉,以后就是篮网粉了!', 'attitudes': 7, 'comments': 1, 'reposts': 0}
{'id': '4388662080858927', 'text': '//@JUNYI定制_:在哪里都有哨子的男人//@番茄炒西红柿不放盐:中国唯一一个防住哈登的人', 'attitudes': 2, 'comments': 0, 'reposts': 1}
{'id': '4388660269017778', 'text': '西安第一天,吃遍整个回民街,我老婆太会找吃的了,吃到肚肚鼓鼓的!\n有几个图拍歪了,但为了 live 不修了! 西安', 'attitudes': 7, 'comments': 7, 'reposts': 0}
{'id': '4388303945657295', 'text': '老婆以后家里的碗我全包了!@长泽牙妹', 'attitudes': 5, 'comments': 0, 'reposts': 0}
{'id': '4387867369267085', 'text': '哎盗版太多了,我录制的视频现在也是盗版满天飞,我都放弃了...这也是我的书不出电子版的原因...', 'attitudes': 6, 'comments': 13, 'reposts': 2}
{'id': '4387781021057108', 'text': '@闲鱼', 'attitudes': 3, 'comments': 0, 'reposts': 0}
{'id': '4387558945418425', 'text': '//@掘金技术社区:掘金诚实的 Slogan 是「有三分之一的用户上掘金就是为了上班摸鱼」', 'attitudes': 4, 'comments': 0, 'reposts': 5}
{'id': '4387536493517959', 'text': '我老婆明天就破一千粉了!@长泽牙妹', 'attitudes': 2, 'comments': 9, 'reposts': 0}
{'id': '4387424408539777', 'text': '怎么肥四,我老婆最近七天涨了三百个粉,而我只有六十个。\n明明都是我的粉丝来着,但是都脱粉了去粉我老婆了。\n怎么会这样呢? 北京', 'attitudes': 5, 'comments': 9, 'reposts': 1}
{'id': '4386828281036725', 'text': '我老婆又连载啦!话说配图能不能给我选个帅一点的!', 'attitudes': 8, 'comments': 4, 'reposts': 0}
{'id': '4386484838552925', 'text': '我们做的事可能百分之八十都是没用的,我做的这些到最后又有什么意义呢?\n不知道,可还是要做,可还是很累。\n慢慢学会权衡吧。', 'attitudes': 14, 'comments': 5, 'reposts': 4}
{'id': '4386143246153954', 'text': '', 'attitudes': 1, 'comments': 1, 'reposts': 0}
{'id': '4385755625776012', 'text': '', 'attitudes': 2, 'comments': 0, 'reposts': 0}
{'id': '4384960695341388', 'text': '感觉 16G 的 MacBook Pro 已经满足不了我的撸代码速度了。\n一片开发必备软件开多了就卡出翔了。\n好的那我要不要买 iMac 64G 呢?\n不买!\n为什么。\n留着钱给我老婆买好吃的还有好看的衣服服。', 'attitudes': 19, 'comments': 12, 'reposts': 0}
{'id': '4384857473793201', 'text': '老婆这都给我写好了!我可要加油啊!', 'attitudes': 17, 'comments': 3, 'reposts': 4}
{'id': '4384641807008634', 'text': '不知道是不是因为早起的缘故,六点就起了,现在感觉有点头昏脑涨。\n下班休养生息了。\n难道我还是不适合早起?适合当一个夜猫子?', 'attitudes': 2, 'comments': 2, 'reposts': 0}
{'id': '4384323530325456', 'text': '//@苏生不惑:转发微博', 'attitudes': 2, 'comments': 0, 'reposts': 2}
{'id': '4383920340166077', 'text': '今天来理发,一进来放东西。\n:就住这附近吧?\n我一想我确实住这附近啊,但我说是的话就肯定推销我办卡了。\n:没,住的还挺远的。\n他又看我提了一些吃的喝的。\n:那你这咋还提了这么多东西啊?\n:难得出来一趟,多买了点。\n他脸一黑,我们俩呵呵笑了起来。', 'attitudes': 10, 'comments': 3, 'reposts': 0}
{'id': '4383902707553489', 'text': '卧槽我老婆也太厉害了,找到这么好吃的店!!!\n吹爆骨气鼓气羊棒骨!!!!太好吃了!!!!!! 北京·骨气鼓气秘制羊棒骨', 'attitudes': 6, 'comments': 3, 'reposts': 0}
{'id': '4383621236623125', 'text': '说出了我的心声,替阿杜打抱不平,如果勇士没有 5 年顶薪签下我杜,我勇士一生黑!!!', 'attitudes': 2, 'comments': 0, 'reposts': 1}
{'id': '4383620976133278', 'text': '从杜兰特事件,我看到了金州勇士这个队伍从管理层到教练到球员,最卑劣,最下流的一面。还记得g3克雷汤普森因伤缺战时科尔的说法吗?“如果我让克莱带伤出战,他因此受伤,我会后悔一辈子”,两场比赛之后勇士面临1比3绝境时,科尔的话变成了“希望杜兰特能够出战g5g6”。勇士更衣室爆出部分球员不相信 ...全文', 'attitudes': 3, 'comments': 11, 'reposts': 2}
{'id': '4383620565337891', 'text': '从杜兰特事件我们看到了什么? - 回答作者: 天空之城 网页链接 (想看更多?下载 @知乎 App:知乎 )', 'attitudes': 0, 'comments': 1, 'reposts': 0}
{'id': '4383477744654152', 'text': '你们都说我是炫妻狂魔,可是我不得不成为炫妻狂魔!', 'attitudes': 14, 'comments': 8, 'reposts': 1}
{'id': '4383475954350153', 'text': '哈哈哈哈哈哈看看谁的嘴大! 崔庆才丨静觅的秒拍视频', 'attitudes': 8, 'comments': 1, 'reposts': 0}
{'id': '4382124452668633', 'text': '从 KD 进入联盟就一直支持和关注 KD,转眼十多年了... 我这人,没什么偶像,没有特别喜欢的明星,除了 KD。加油啊,会好起来的,God Bless You!', 'attitudes': 5, 'comments': 0, 'reposts': 0}
{'id': '4382118929479375', 'text': '好的转发微博 //@长泽牙妹:我不明面上骂她了 但我想骂她的时候就转发这条微博', 'attitudes': 1, 'comments': 2, 'reposts': 0}
{'id': '4381935092628668', 'text': '我杜啊啊啊啊啊啊啊...\n以后再也不要强行复出了...\n总冠军我们不要了...\n#杜兰特再次受伤#', 'attitudes': 4, 'comments': 8, 'reposts': 1}
{'id': '4381278226748890', 'text': '拉倒吧,我杜伤一阵,就这么飘了?', 'attitudes': 2, 'comments': 1, 'reposts': 0}
{'id': '4381270190531046', 'text': '我又和老婆包粽子啦,大家看看哪两个是我包的呢?', 'attitudes': 6, 'comments': 6, 'reposts': 0}
{'id': '4381260488738253', 'text': '对了看了一圈发现我没有发粽子的微博,就转老婆的了 自己动手,风衣祖师!', 'attitudes': 2, 'comments': 2, 'reposts': 0}
{'id': '4381257968197754', 'text': '#粽子节快乐# 老婆做的香河肉饼,还有这次我拌的黄瓜猪肝。', 'attitudes': 4, 'comments': 5, 'reposts': 0}
{'id': '4381040640403676', 'text': '我发表了头条文章:《崔庆才的恋爱日记》 崔庆才的恋爱日记', 'attitudes': 29, 'comments': 35, 'reposts': 2}
{'id': '4381004007345582', 'text': '#高考结束# 距离我高考结束已经七年了...', 'attitudes': 3, 'comments': 5, 'reposts': 0}
{'id': '4380922164117755', 'text': '说每人都要准备一道菜,好的。\n图一:我老婆炖的鸡公煲\n图二:彬哥炒的地三鲜\n图三:我洗的杨梅\n没毛病', 'attitudes': 4, 'comments': 5, 'reposts': 0}
{'id': '4380541400682924', 'text': '//@鱼小球__:看最后一张,小姐姐像从漫画里走出来的美人儿', 'attitudes': 9, 'comments': 0, 'reposts': 0}
{'id': '4380477760705954', 'text': '祝大家端午节 天天笑哈哈!', 'attitudes': 24, 'comments': 11, 'reposts': 1}
{'id': '4380132846626604', 'text': '今天拼车上班,下了大暴雨。\n车里还有一位乘客疯狂打电话怒吼,后来听了听发现是产品经理吼程序员。 北京', 'attitudes': 8, 'comments': 4, 'reposts': 0}
{'id': '4379585107964870', 'text': 'Python 面向对象编程最佳实践。这可能是 Python 面向对象编程的最佳实践', 'attitudes': 23, 'comments': 0, 'reposts': 16}
{'id': '4379370120478270', 'text': '', 'attitudes': 3, 'comments': 1, 'reposts': 1}
{'id': '4379249320339142', 'text': '真的觉得,有一个好的领导太重要了,真的特别感谢领导的理解和关心!\n小时候妈妈跟我说过,人生有三幸,上学的时候有个好的老师,工作后有个好的上司,结婚后有个好的老婆。\n现在想想,真的感觉自己还是很幸运的。\n好好工作,好好生活,感恩! 北京', 'attitudes': 27, 'comments': 7, 'reposts': 2}
{'id': '4379151726915929', 'text': '谢天谢地,终于没事了!', 'attitudes': 3, 'comments': 5, 'reposts': 0}
{'id': '4378815520610316', 'text': '历经四个精致布景,两天两夜不眠不休的吐血剪辑之后,2019 年年度科幻悬疑励志爱情剧本——《小摸仙的故事》正式点映! 崔庆才丨静觅的微博视频', 'attitudes': 18, 'comments': 9, 'reposts': 1}
{'id': '4378432202842663', 'text': '本来以为我做的排骨已经很好吃了,但吃到我老婆做的排骨,我跪了。\n真是历史新高的好吃啊!现在还在回味。', 'attitudes': 20, 'comments': 1, 'reposts': 0}
{'id': '4378328138109315', 'text': '这鞋这么容易撞的吗?\n不过我的是假的。 北京·奥体中心', 'attitudes': 4, 'comments': 4, 'reposts': 0}
{'id': '4378323360520805', 'text': '马上我就可以吃到啦!一会上图!', 'attitudes': 4, 'comments': 6, 'reposts': 0}
{'id': '4378142934049938', 'text': '我老婆真牛逼啊!//@长泽牙妹:我说错了 机票一张涨了两千五,我俩加起来省了五千什么叫旺夫命!!!', 'attitudes': 9, 'comments': 1, 'reposts': 0}
{'id': '4378058956179867', 'text': '今天和产品经理们讨论产品的时候,产品经理说了一句:这个我们这样做的话相比市面上的产品就优势不大了。\n其实我想说的是,首先我们的确是有自己的优势点的,而且是技术上的独有优势。做一个产品,先不要想我们做出来优势大不大,要先做到和别人产品一样的水平,然后再在这个基础上进一步拔高,这才更 ...全文', 'attitudes': 19, 'comments': 8, 'reposts': 2}
{'id': '4376175218272062', 'text': '? //@慵懒的小猫咪笨笨:马', 'attitudes': 7, 'comments': 4, 'reposts': 7}
{'id': '4376174899610230', 'text': '恭喜,不过我勇可不好打哦', 'attitudes': 4, 'comments': 1, 'reposts': 0}
{'id': '4375232657609918', 'text': '我错了', 'attitudes': 3, 'comments': 1, 'reposts': 0}
{'id': '4374986288192060', 'text': '遇到紧急情况,在公司和同事一起调 bug 直到现在,领导开车送我回的家。凌晨两点时候真的特别困,又因为卡 bug 而特别无助,当时想问自己,我这是在干什么?我这么做有什么意义呢?\n后来,bug 终于解完了,坐车的时候我换位思考了下。领导现在大我七岁,现在有车有房有爱的人,每天做的工作又可以体现 ...全文', 'attitudes': 55, 'comments': 8, 'reposts': 4}
{'id': '4374440756584533', 'text': '啊啊啊啊啊,我老婆做的肉饼太好吃了,找回了童年马师傅火烧的感觉!!!', 'attitudes': 13, 'comments': 0, 'reposts': 0}
{'id': '4373621868522947', 'text': '今天我给老婆做饭啦,西红柿鸡蛋面!\n不过不怎么好吃,我会继续努力的。', 'attitudes': 11, 'comments': 4, 'reposts': 0}
{'id': '4373405467836997', 'text': '30多号一共排号十几分钟就好啦,好吃!!! 北京·奥林匹克森林公园', 'attitudes': 4, 'comments': 2, 'reposts': 0}
{'id': '4373397515520061', 'text': '今天晚上和老婆出来吃海底捞,来到了国奥村店,但是看到门店并不是特别亮,咋黑灯瞎火的呢?听说是新开的一个店。\n当时我俩就觉得这个是不是假的店呀,还在看看这个招牌 LOGO,对的呀没错啊。\n然后正当我们将信将疑的时候,我们走到门口瞬间就过来了一个人,热情的迎接我们,这时候我们坚信,这肯定是 ...全文', 'attitudes': 4, 'comments': 3, 'reposts': 0}
{'id': '4373290815877368', 'text': '波神要去杭州阿里了,好好干,未来成为千万富翁别忘了我。\nP.S. 图左优质单身程序员一枚,精通 PHP、JavaScript、Python、Go、Java,有意向的妹子或老板欢迎勾搭。', 'attitudes': 21, 'comments': 7, 'reposts': 0}
{'id': '4373263750155703', 'text': '', 'attitudes': 1, 'comments': 0, 'reposts': 0}
{'id': '4372855053384821', 'text': '我老婆拿着一个袋子,袋子里只放着一把 ?。\n老婆:你拿拿,重重。\n我接过来,惊了。\n我:重...重吗?\n老婆:嗯?不重吗?\n我:重重重重重。\n老婆:嗯?重吗?\n我:不重不重不重不重。\n老婆:嗯?不重吗?\n我:啊? 还行吧。\n你说应该说重呢还 ...全文', 'attitudes': 6, 'comments': 8, 'reposts': 1}
{'id': '4372581945499645', 'text': '错误不可怕,可怕的是认识不到,更可怕的是认识到了还各种理由。\n加油继续修炼,我要变得更好啊,不论是在工作还是生活。', 'attitudes': 16, 'comments': 1, 'reposts': 0}
{'id': '4372342060773272', 'text': '接触人多了发现,人和人的差别还是很大的,靠谱和不靠谱,一些小事能分得清清楚楚。\n现在我在擦屁股。\n不整好觉得整个人都不舒服。', 'attitudes': 12, 'comments': 1, 'reposts': 0}
{'id': '4371612687761747', 'text': '下班了,其实我累的时候我会思考,我在做的事情意义有多大,我的方向对不对,有什么需要调整的地方。\n其实工作,照理来说,单论快速完成的话,我可以快速完成,自己没有什么压力。\n但是自己总感觉这样不可取的,可能我这个人太强迫症了,我现在把工作的项目当成自己创业的项目来做,我想把每个项目每个 ...全文', 'attitudes': 43, 'comments': 7, 'reposts': 0}
{'id': '4371606497040790', 'text': '今天可谓是效率极低了...', 'attitudes': 3, 'comments': 1, 'reposts': 0}
{'id': '4371487580446391', 'text': '正式入职两个月了,第三次参加封闭开发,加油! 北京·微软亚太研发集团总部', 'attitudes': 27, 'comments': 6, 'reposts': 0}
{'id': '4369791164515208', 'text': '我为啥没有', 'attitudes': 1, 'comments': 1, 'reposts': 0}
{'id': '4369472914078310', 'text': '搞了半天服务器一直访问不了,最后发现是域名解析的地址解析错了。', 'attitudes': 7, 'comments': 2, 'reposts': 0}

进程已结束,退出代码 0

 

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页