1-新浪微博爬虫-（2017-05-09）

最新推荐文章于 2024-03-10 14:33:59 发布
最新推荐文章于 2024-03-10 14:33:59 发布
阅读量5.2k 收藏 5
点赞数 3
分类专栏： python爬虫 文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29622761/article/details/71595787
版权

文章目录

1、 爬用户的信息

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3088.4 Safari/537.36'}
Cookies={'Cookie':'ALF=1496922421; SCF=Arp26DLiVfzVu5csW81QpVvZyGluHHNLIe8z6eVFr9c7gA6g38fGoFXC6FTk2hwAWieSwX1UOz333tyjm9GipnI.; + \
SUB=_2A250FboODeRhGeRN41QZ8y_FwjmIHXVX-cZGrDV6PUJbktBeLUTykW1mqpP-7J46zMkHwLZNZMejo05wbw..; + \
SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WWgX0wXfSMCzFQ9GvxhMXZc5JpX5o2p5NHD95QEe0nc1hep1K.fWs4DqcjTHsyL9svV9NWjqgRt; SUHB=0P1NBKwWiWd4ug; SSOLoginState=1494338142;+ \
 _T_WM=3a3a0875977ca7524e9ecdd21c980cb0; M_WEIBOCN_PARAMS=featurecode%3D20000320%26oid%3D4100400447924616% +\
 26luicode%3D10000011%26lfid%3D2302831655128924%26fid%3D1005051655128924%26uicode%3D10000011'}

def get_user_info(user_id):
    url = 'http://m.weibo.cn/api/container/getIndex?type=uid&value={user_id}'.format(user_id=user_id)
    resp = requests.get(url,headers=headers,cookies=Cookies)
    jsondata = resp.json()
    #print(jsondata)
    nickname = jsondata.get('userInfo').get('screen_name')
    mlog_num =  jsondata.get('userInfo').get('statuses_count')
    verified = jsondata.get('userInfo').get('verified')
    verified_reason = jsondata.get('userInfo').get('verified_reason')
    descreption = jsondata.get('userInfo').get('description')
    gender = jsondata.get('userInfo').get('gender')
    urank = jsondata.get('userInfo').get('urank')  # 用户等级
    mbrank = jsondata.get('userInfo').get('mbrank')
    followers_counts = jsondata.get('userInfo').get('followers_count')
    follow_counts = jsondata.get('userInfo').get('follow_count')

    try:
        uid = jsondata.get('userInfo').get('toolbar_menus')[0].get('params').get('uid')
        fid = jsondata.get('userInfo').get('toolbar_menus')[1].get('actionlog').get('fid')
        oid = jsondata.get('userInfo').get('toolbar_menus')[2].get('params').get('menu_list')[0].get('actionlog').get('oid')
        cardid = jsondata.get('userInfo').get('toolbar_menus')[1].get('actionlog').get('cardid')

    except:
        uid = ''
        fid = ''
        oid = ''
        cardid = ''
    containerid = jsondata.get('tabsInfo').get('tabs')[1].get('containerid')
    user_info = {'nickname':nickname,'mlog_num':mlog_num,'verified':verified,'verified_reason':verified_reason,
                'gender':gender,'urank':urank,'mbrank':mbrank,'followers_count':followers_counts,
                'follow_count':follow_counts,'uid':uid,'fid':fid,
                'cardid':cardid,'containerid':containerid,'oid':oid,'desc':descreption}
    print(user_info)
    return user_info

###1-1. 哪里找cookies?
输入网址：http://m.weibo.cn/u/2803301701
这里写图片描述

这里写图片描述

###1-2. 哪里找用户信息？
用Firefox打开：http://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1005052803301701

这里写图片描述

发现全部都是以json的数据格式，然后解析就行了。

2、 爬用户发过的所有博客

#获取素有热门微博信息(所发微博内容，每条微博的评论id，转发数，评论数.....)
def mlog_list(uid,oid):
    Mlog_list = []
    base_url = 'http://m.weibo.cn/api/container/getIndex?type=uid&value={uid}&containerid={oid}'
    page_url = 'http://m.weibo.cn/api/container/getIndex?type=uid&value={uid}&containerid={oid}&page={page}'
    url = base_url.format(uid = uid,oid = oid)
    print(url)
    resp = requests.get(url,headers=headers,cookies=Cookies)
    resp.encoding='gbk'
    response = resp.json()
    #print(response)
    #热门微博total
    total = response['cardlistInfo']['total']
    print(total)
    #热门微博网页数
    page_num = int(int(total) / 10) + 1
    print(page_num)
    for i in range(1, page_num + 1):
        p_url = page_url.format(oid=oid, uid=uid, page=i)
        #print(i,p_url)
        page_resp = requests.get(p_url,headers=headers,cookies = Cookies)
        page_data = page_resp.json()
        #print(page_data)
        try:
            cards = page_data['cards']
            for card in cards:
                mblog = card['mblog']
                created_at = mblog['created_at']
                id = mblog['id']
                dirty_text = mblog['text']
                cleaned1 = re.sub(r'<span.*?</span>','',dirty_text)
                text = re.sub(r'<a.*?></a>','',cleaned1)
                reposts_count = mblog['reposts_count']
                comments_count = mblog['comments_count']
                attitudes_count = mblog['attitudes_count']
                mblog_data = {'created_at': created_at, 'id': id, 'text': text, 'reposts_count': reposts_count,
                              'comments_count': comments_count, 'attitudes_count': attitudes_count}

                Mlog_list.append(mblog_data)
                print('*'*10,mblog_data)
        except:
            continue
        time.sleep(1)

2-1.哪里找url入口？

入口：
http://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1076032803301701
http://m.weibo.cn/api/container/getIndex?type=uid&value=2803301701&containerid=1076032803301701&page=2

比较以上两个url，发现value={},containerid={},page={}是有规律的。
这里写图片描述

2-2.怎么得到博客数据？

用Firefox打开以上两个url：
这里写图片描述

这里写图片描述

发现全部是json数据，然后解析就行了。
解析完了保存为字典格式。

3、 主函数

def main():
    #user_id= '1655128924'
    #user_id='2736225585'
    #user_id = '2386831995'
    user_id= '2368289191'
    user_info = get_user_info(user_id)
    uid = user_info.get('uid')
    oid = user_info.get('containerid')
    print(uid,oid)
    mlog_list(uid,oid)


main()

4、 所有代码

import requests
import time
import re

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3088.4 Safari/537.36'}
Cookies={'Cookie':'ALF=1496922421; SCF=Arp26DLiVfzVu5csW81QpVvZyGluHHNLIe8z6eVFr9c7gA6g38fGoFXC6FTk2hwAWieSwX1UOz333tyjm9GipnI.; + \
SUB=_2A250FboODeRhGeRN41QZ8y_FwjmIHXVX-cZGrDV6PUJbktBeLUTykW1mqpP-7J46zMkHwLZNZMejo05wbw..; + \
SUBP=0033WrSXqPxfM725Ws9jqgMF55529P9D9WWgX0wXfSMCzFQ9GvxhMXZc5JpX5o2p5NHD95QEe0nc1hep1K.fWs4DqcjTHsyL9svV9NWjqgRt; SUHB=0P1NBKwWiWd4ug; SSOLoginState=1494338142;+ \
 _T_WM=3a3a0875977ca7524e9ecdd21c980cb0; M_WEIBOCN_PARAMS=featurecode%3D20000320%26oid%3D4100400447924616% +\
 26luicode%3D10000011%26lfid%3D2302831655128924%26fid%3D1005051655128924%26uicode%3D10000011'}

def get_user_info(user_id):
    url = 'http://m.weibo.cn/api/container/getIndex?type=uid&value={user_id}'.format(user_id=user_id)
    resp = requests.get(url,headers=headers,cookies=Cookies)
    jsondata = resp.json()
    #print(jsondata)
    nickname = jsondata.get('userInfo').get('screen_name')
    mlog_num =  jsondata.get('userInfo').get('statuses_count')
    verified = jsondata.get('userInfo').get('verified')
    verified_reason = jsondata.get('userInfo').get('verified_reason')
    descreption = jsondata.get('userInfo').get('description')
    gender = jsondata.get('userInfo').get('gender')
    urank = jsondata.get('userInfo').get('urank')  # 用户等级
    mbrank = jsondata.get('userInfo').get('mbrank')
    followers_counts = jsondata.get('userInfo').get('followers_count')
    follow_counts = jsondata.get('userInfo').get('follow_count')

    try:
        uid = jsondata.get('userInfo').get('toolbar_menus')[0].get('params').get('uid')
        fid = jsondata.get('userInfo').get('toolbar_menus')[1].get('actionlog').get('fid')
        oid = jsondata.get('userInfo').get('toolbar_menus')[2].get('params').get('menu_list')[0].get('actionlog').get('oid')
        cardid = jsondata.get('userInfo').get('toolbar_menus')[1].get('actionlog').get('cardid')

    except:
        uid = ''
        fid = ''
        oid = ''
        cardid = ''
    containerid = jsondata.get('tabsInfo').get('tabs')[1].get('containerid')
    user_info = {'nickname':nickname,'mlog_num':mlog_num,'verified':verified,'verified_reason':verified_reason,
                'gender':gender,'urank':urank,'mbrank':mbrank,'followers_count':followers_counts,
                'follow_count':follow_counts,'uid':uid,'fid':fid,
                'cardid':cardid,'containerid':containerid,'oid':oid,'desc':descreption}
    print(user_info)
    return user_info

#获取素有热门微博信息(所发微博内容，每条微博的评论id，转发数，评论数.....)
def mlog_list(uid,oid):
    Mlog_list = []
    base_url = 'http://m.weibo.cn/api/container/getIndex?type=uid&value={uid}&containerid={oid}'
    page_url = 'http://m.weibo.cn/api/container/getIndex?type=uid&value={uid}&containerid={oid}&page={page}'
    url = base_url.format(uid = uid,oid = oid)
    print(url)
    resp = requests.get(url,headers=headers,cookies=Cookies)
    resp.encoding='gbk'
    response = resp.json()
    #print(response)
    #热门微博total
    total = response['cardlistInfo']['total']
    print(total)
    #热门微博网页数
    page_num = int(int(total) / 10) + 1
    print(page_num)
    for i in range(1, page_num + 1):
        p_url = page_url.format(oid=oid, uid=uid, page=i)
        #print(i,p_url)
        page_resp = requests.get(p_url,headers=headers,cookies = Cookies)
        page_data = page_resp.json()
        #print(page_data)
        try:
            cards = page_data['cards']
            for card in cards:
                mblog = card['mblog']
                created_at = mblog['created_at']
                id = mblog['id']
                dirty_text = mblog['text']
                cleaned1 = re.sub(r'<span.*?</span>','',dirty_text)
                text = re.sub(r'<a.*?></a>','',cleaned1)
                reposts_count = mblog['reposts_count']
                comments_count = mblog['comments_count']
                attitudes_count = mblog['attitudes_count']
                mblog_data = {'created_at': created_at, 'id': id, 'text': text, 'reposts_count': reposts_count,
                              'comments_count': comments_count, 'attitudes_count': attitudes_count}

                Mlog_list.append(mblog_data)
                print('*'*10,mblog_data)
        except:
            continue
        time.sleep(1)



def main():
    #user_id= '1655128924'
    #user_id='2736225585'
    #user_id = '2386831995'
    user_id= '2368289191'
    user_info = get_user_info(user_id)
    uid = user_info.get('uid')
    oid = user_info.get('containerid')
    print(uid,oid)
    mlog_list(uid,oid)


main()

谢谢各位收看的朋友。这篇文章，我也是参考了别人的写法，然后自己研究了一把。写得不好的地方，欢迎留言和联系。谢谢

在这里插入图片描述

当法律与事业相遇
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python爬去新浪微博_荐爬虫实战 新浪微博爬取 详细分析
weixin_39533659的博客
11-23 778
目标#2020.5.22#author：pmy#目标：爬取最爱的绵羊的微博，包含时间，文本内容，点赞数，评论数与转发数#在更换博主时主要在于修改headers中的referer和参数中的containerid分析首先要简单讲一下Ajax。它是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。它具体体现在：在刷微博时，我们能明显能发现，当一个页面...
微博内容爬取——陈一发儿微博实例
r244925932的博客
07-27 6738
引言 利用Ajax分析微博并爬取其内容如微博内容，点赞数，转发数，评论数等。 分析 打开陈一发微博网站：https://m.weibo.cn/p/1005051054009064，并同时打开开发者工具。 我们可以在Network中分析可以得出，微博中所有的内容都是名为“getIndex?containerid=1076031054009064”的响应 经过这其中的JSON代码分析后可...
Python爬虫高级视频教程（十二）
04-24
本套视频采取每一个知识点配合一个经典案例，以重视解决实际问题为出发点，最后以项目结束方式从而形成一套完整爬虫知识体系。 从最基本urllib讲起，动态获取数据，然后逐渐进阶到数据解析，高级请求requests，反爬体系使用和介绍，最后到用scrapy框架开发项目及scrapy_shell调试数据，并发编程，日志配置，scrapy-redis分布式等高阶技术，配合chrome开发者和Fiddler抓包工具使用，轻松满足你应对网上爬取内容N种情况，助你一步一步成为互联网合格爬虫工程师。
m.微博各种接口分析
李玺
07-22 1万+
1.微博用户搜索接口。 https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D3%26q%3D乐队的夏天%26t%3D0 一般我们搜索目标的知名度是靠前的，这里先暂时以第一个为主。 user_name = weibo_json['data']['cards'][1]['card_group']['user']['sc...
【爬虫】爬取微博数据作运营情况分析案例解析（weiboSpider爬虫+python数据分析）
最新发布
qq_39172059的博客
03-10 905
微博数据爬取python工具有很多。本次为我们选用：weiboSpider唯一的难度是cookie的获取，严格按照说明文档进行即可。配置好config.json文件运行main.py即可爬取数据。
python3[爬虫实战] 爬虫之requests爬取新浪微博京东客服
徐代龙的技术专栏
08-09 1万+
爬取的内容为京东客服的微博及评论 思路:主要是通过手机端访问新浪微博的api接口，然后进行数据的筛选， 类似于这样的：https://m.weibo.cn/u/5650743478?uid=5650743478&amp;luicode=10000011&amp;lfid=100103type%3D1%26q%3D%40%E4%BA%AC%E4%B8%9C%E5%AE%A2%E6%9C%8D&amp;featurecod
Python-新浪微博爬虫ScrapyRedis
08-10
此项目和QQ空间爬虫类似，主要爬取新浪微博用户的个人信息、微博信息、粉丝和关注（详细见此）。
Python-新浪微博相册大图多线程爬虫
08-12
新浪微博相册大图多线程爬虫。
新浪微博爬虫，用python爬取新浪微博数据
02-07
本程序可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，...
Python-爬取新浪微博信息
08-10
多进程异步爬取新浪微博下的各项微博，目前已完成对账号下视频的爬取，以后会对图片，音乐等爬取，并完善程序
Python-新浪微博指数微指数采集包括综合指数移动端指数PC端指数
08-12
self complemented WeiboIndexSpyder based on Selenium ，新浪微博指数(微指数)采集，包括综合指数，移动端指数，PC端指数
python3.7 requests模拟新浪微博登录
04-21
python3.7 使用requests库模拟新浪微博登录。由于新浪对于用户账号和密码使用特殊加密，此程序使用base64对用户名进行编码和rsa2对password进行编码，亲测完成登录。
一小时爬千万数据的新浪微博爬虫
热门推荐
大数据公社
01-19 1万+
分享一个新浪微博的爬虫，基于 Scrapy + MongoDB 实现，号称一小时可爬千万条数据。作者：LiuXingMing来源：http://blog.csdn.net/bone_ace/article/details/50903178项目地址：https://github.com/LiuXingMing/SinaSpider爬虫功能：此项目和QQ空间爬虫类似，主要爬取新浪微博用户的个人信息、微
爬虫初学---爬取某博及评论
weixin_45697971的博客
05-08 5210
1，要爬取微博及评论有三个方向可选： 1. weibo.com(网页版) 2. m.weibo.cn(手机版) 3. weibo.cn(移动版） 网页版的反爬技术已经很完善，作为初学者，建议选择后两者练手。本文以手机版为例。 2，要爬取数据第一步就是分析数据结构，通过m.weibo.com ...
微博爬虫之：无需账号获取微博weibo的Cookie
gdali的专栏
04-04 7087
这里主要演示原理，不涉及具体的编程代码，工具：Postman，主要3个步骤： 第1步（获取tid）： 网址：https://passport.weibo.com/visitor/genvisitor 方式：POST 参数： cb：gen_callback（固定） fp:{"os":"1","browser":"Chrome70,0,3538,25","fonts":"undefine...
接口分析--详细解读微博接口获取
懷淰メ的博客
01-07 2637
我的目录微博三个接口的获取1．用户搜索接口（8）用户搜索接口格式2．用户信息、用户微博接口（3）.用户信息接口格式：（4）.用户微博接口格式： 不知不觉2021年了，先祝大家元旦快乐！这段时间有些忙，在学习tk，特地买了一本书来学（《Python GUI设计 tkinter菜鸟编程》），根据书中所学和网上资料，我现学现卖做出了微博图片采集工具GUI版本，下载地址我会放到文章结尾。 本篇文章会详细讲解weibo两个接口的获取以及GUI界面的制作，直接贴给大家源码！ 微博三个接口的获取 以下三个接口的获取都是基
新浪微博爬虫scrapy框架编写爬虫代码
06-07
好的，以下是一个简单的新浪微博爬虫的Scrapy框架爬虫代码： ```python import scrapy class WeiboSpider(scrapy.Spider): name = 'weibo' allowed_domains = ['weibo.cn'] start_urls = ['https://weibo.cn/']...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

当法律与事业相遇

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值