无聊，做个微博用户关系图

最新推荐文章于 2022-12-24 13:22:49 发布
最新推荐文章于 2022-12-24 13:22:49 发布
阅读量2k 收藏 39
点赞数 8
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shelgi/article/details/103192810
版权

最近要学的太多，还有一堆期末大作业等着做，实在是脑阔疼。好不容易闲了一点，用networkx做个关系图玩一下

思路

爬取微博关注列表，然后再去遍历关注列表，得到每个用户的信息，以及他们的关注，这样用户关系就能丰富起来，画的图也就更复杂

代码

import requests
import re
import json
import networkx as nx
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['YouYuan']
plt.rcParams['axes.unicode_minus'] = False 

# 请求文本
def getHtmlText(url, code='UTF-8'):
    trytime = 10
    while trytime > 0:
        try:
            header = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6726.400 QQBrowser/10.2.2265.400',
            }
            r = requests.get(url, headers=header, timeout=5)
            r.raise_for_status()
            r.encoding = code
            return r.text
        except:
            print("get获取失败,重连中")
            trytime -= 1


# 获取用户信息
def getUserInfo(uid):
    url = 'https://m.weibo.cn/api/container/getIndex?type=uid&value={}'.format(uid)
    Infomation = json.loads(getHtmlText(url))
    UserInfo = {}
    UserInfo['id'] = Infomation['data']['userInfo']['id']
    UserInfo['name'] = Infomation['data']['userInfo']['screen_name']
    UserInfo['gender'] = '女' if Infomation['data']['userInfo']['gender'] == 'f' else '男'
    UserInfo['desc'] = Infomation['data']['userInfo']['description']
    # with open('./UserInfo.json', 'w', encoding='utf-8') as f:
    #     f.write(json.dumps(UserInfo, ensure_ascii=False))
    return UserInfo


# 获取用户关注列表
def getInterestList(uid, num):
    url = 'https://m.weibo.cn/api/container/getIndex?containerid=231051_-_followers_-_{}&page=1'.format(uid)
    data = json.loads(getHtmlText(url))
    intertestList = []
    cardlist = data['data']['cards']
    for cards in cardlist:
        if 'title' in cards and (cards['title'] == '她的全部关注' or '他的全部关注'):
            i = 0
            for card in cards['card_group']:
                if i < num:
                    person = {}
                    person['id'] = card['user']['id']
                    intertestList.append(person)
                    i += 1
    # with open('./interestList.json', 'w', encoding='utf-8') as f:
    #     f.write(json.dumps(intertestList, ensure_ascii=False))
    return intertestList


# 深搜获取多层用户信息及用户关注列表
def deepSearchList(list, uid, floor, num):
    if floor == 0:
        # print(list.keys())
        if uid in list.keys():
            print('{}有重复'.format(uid))
            return list
        else:
            # print(list.keys())
            # print(uid in list.keys())
            list[str(uid)] = dict()
            list[uid]['userInfo'] = getUserInfo(uid)
            print('{}\t{}\t{}\t{}'.format(uid, list[uid]['userInfo']['name'], list[uid]['userInfo']['gender'],
                                          list[uid]['userInfo']['desc']))
            return list
    elif uid in list.keys() and 'interestList' in list[uid].keys():
        # print('interestList' in list[uid].keys())
        #print('{}有重复'.format(uid))
        return list
    else:
        list[str(uid)] = dict()
        list[uid]['userInfo'] = getUserInfo(uid)
        list[uid]['interestList'] = getInterestList(uid, num)
        print('{}\t{}\t{}\t{}'.format(uid, list[uid]['userInfo']['name'],
                                      list[uid]['userInfo']['gender'],
                                      list[uid]['userInfo']['desc']))
        i = 0
        for interestList in list[uid]['interestList']:
            if i < num:
                list = deepSearchList(list, str(interestList['id']), floor - 1, num)
                # with open('./list.json', 'w', encoding='utf-8') as f:
                #     f.write(json.dumps(list, ensure_ascii=False))
                i += 1
        return list


if __name__ == '__main__':
    uid='******'   #微博的uid

    try:
        with open(f'./{uid}.json', 'r', encoding='utf-8') as f:
            data = json.load(f)
    except:
        data = dict()
    data = deepSearchList(data, uid, 10, 20)
    with open(f'./{uid}.json', 'w', encoding='utf-8') as f:
        f.write(json.dumps(data, ensure_ascii=False))
#     print(data)
#     print(len(data))

    plt.figure(figsize=(20,10),dpi=100)
    G = nx.DiGraph()
    node_size_list = dict()
    node_color_list = dict()
    for person in data:
        G.add_node(data[person]['userInfo']['name'])
        node_size_list[data[person]['userInfo']['name']] = 0
        node_color_list[data[person]['userInfo']['name']] = 'lightblue' if data[person]['userInfo']['gender'] == '男' else 'pink'
    for person in data:
        if 'interestList' in data[person].keys():
            for interest in data[person]['interestList']:
                #print('{} -> {}'.format(person, interest['id']))
                G.add_edge(data[person]['userInfo']['name'],
                           data[str(interest['id'])]['userInfo']['name'])
                node_size_list[data[str(interest['id'])]['userInfo']['name']] += 1
    nx.draw(G,
            pos=nx.spring_layout(G),
            with_labels=True,
            node_size=[i * i * 250 + 100 for i in list(node_size_list.values())],
            node_color=[i for i in list(node_color_list.values())],
            width=0.6,
            font_size=10)
    plt.savefig(f"./{uid}微博关系图.png",dpi=100)
    plt.show()

在这里插入图片描述
要是觉得看不清楚的话就从保存的图片打开看就会清楚很多。
在这里插入图片描述

2020/3/30更新

有读者说遇到了get失败的问题，我去试了确实存在这个问题，因为反爬导致的，所以这里更新一下代码，主要就是添加了sleep和更改一下header

import requests
import re
import json
import time
import networkx as nx
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['YouYuan']
plt.rcParams['axes.unicode_minus'] = False

# 请求文本
def getHtmlText(url, code='UTF-8'):
    trytime = 15
    while trytime > 0:
        try:
            header = {
                'upgrade-insecure-requests': '1',
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
            }
            r = requests.get(url, headers=header, timeout=5)
            r.raise_for_status()
            r.encoding = code
            return r.text
        except:
            print("get获取失败,重连中")
            time.sleep(40)
            trytime -= 1

def getHtmlText2(url, code='UTF-8'):
    trytime = 15
    while trytime > 0:
        try:
            header = {
                'referer': 'https://m.weibo.cn/sw.js',
                'X-Requested-With': 'XMLHttpRequest',
                'X-XSRF-TOKEN': 'ef39f9',
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
            }
            r = requests.get(url, headers=header, timeout=5)
            r.raise_for_status()
            r.encoding = code
            return r.text
        except:
            print("get获取失败,重连中")
            time.sleep(40)
            trytime -= 1


# 获取用户信息
def getUserInfo(uid):
    url = 'https://m.weibo.cn/api/container/getIndex?type=uid&value={}'.format(uid)
    Infomation = json.loads(getHtmlText(url))
    UserInfo = {}
    UserInfo['id'] = Infomation['data']['userInfo']['id']
    UserInfo['name'] = Infomation['data']['userInfo']['screen_name']
    UserInfo['gender'] = '女' if Infomation['data']['userInfo']['gender'] == 'f' else '男'
    UserInfo['desc'] = Infomation['data']['userInfo']['description']
    # with open('./UserInfo.json', 'w', encoding='utf-8') as f:
    #     f.write(json.dumps(UserInfo, ensure_ascii=False))
    return UserInfo


# 获取用户关注列表
def getInterestList(uid, num):
    url = 'https://m.weibo.cn/api/container/getIndex?containerid=231051_-_followers_-_{}&page=1'.format(uid)
    data = json.loads(getHtmlText2(url))
    intertestList = []
    cardlist = data['data']['cards']
    for cards in cardlist:
        if 'title' in cards and (cards['title'] == '她的全部关注' or '他的全部关注'):
            i = 0
            for card in cards['card_group']:
                if i < num:
                    person = {}
                    person['id'] = card['user']['id']
                    intertestList.append(person)
                    i += 1
    # with open('./interestList.json', 'w', encoding='utf-8') as f:
    #     f.write(json.dumps(intertestList, ensure_ascii=False))
    return intertestList


# 深搜获取多层用户信息及用户关注列表
def deepSearchList(list, uid, floor, num):
    if floor == 0:
        # print(list.keys())
        if uid in list.keys():
            print('{}有重复'.format(uid))
            return list
        else:
            # print(list.keys())
            # print(uid in list.keys())
            list[str(uid)] = dict()
            list[uid]['userInfo'] = getUserInfo(uid)
            print('{}\t{}\t{}\t{}'.format(uid, list[uid]['userInfo']['name'], list[uid]['userInfo']['gender'],
                                          list[uid]['userInfo']['desc']))
            return list
    elif uid in list.keys() and 'interestList' in list[uid].keys():
        # print('interestList' in list[uid].keys())
        #print('{}有重复'.format(uid))
        return list
    else:
        list[str(uid)] = dict()
        list[uid]['userInfo'] = getUserInfo(uid)
        list[uid]['interestList'] = getInterestList(uid, num)
        print('{}\t{}\t{}\t{}'.format(uid, list[uid]['userInfo']['name'],
                                      list[uid]['userInfo']['gender'],
                                      list[uid]['userInfo']['desc']))
        i = 0
        for interestList in list[uid]['interestList']:
            if i < num:
                list = deepSearchList(list, str(interestList['id']), floor - 1, num)
                # with open('./list.json', 'w', encoding='utf-8') as f:
                #     f.write(json.dumps(list, ensure_ascii=False))
                i += 1
        return list


if __name__ == '__main__':
    #uid='******'   #微博的uid
    uid=input("请输入微博的uid：")
    try:
        with open(f'./{uid}.json', 'r', encoding='utf-8') as f:
            data = json.load(f)
    except:
        data = dict()
    data = deepSearchList(data, uid,2,6)
    with open(f'./{uid}.json', 'w', encoding='utf-8') as f:
        f.write(json.dumps(data, ensure_ascii=False))
#     print(data)
#     print(len(data))

    plt.figure(figsize=(20,10),dpi=100)
    G = nx.DiGraph()
    node_size_list = dict()
    node_color_list = dict()
    for person in data:
        G.add_node(data[person]['userInfo']['name'])
        node_size_list[data[person]['userInfo']['name']] = 0
        node_color_list[data[person]['userInfo']['name']] = 'lightblue' if data[person]['userInfo']['gender'] == '男' else 'pink'
    for person in data:
        if 'interestList' in data[person].keys():
            for interest in data[person]['interestList']:
                #print('{} -> {}'.format(person, interest['id']))
                G.add_edge(data[person]['userInfo']['name'],
                           data[str(interest['id'])]['userInfo']['name'])
                node_size_list[data[str(interest['id'])]['userInfo']['name']] += 1
    nx.draw(G,
            pos=nx.spring_layout(G),
            with_labels=True,
            node_size=[i * i * 250 + 100 for i in list(node_size_list.values())],
            node_color=[i for i in list(node_color_list.values())],
            width=0.6,
            font_size=10)
    plt.savefig(f"./{uid}微博关系图.png",dpi=100)
    plt.show()

运行结果:
在这里插入图片描述
在这里插入图片描述
想要更多用户关系可以自己去代码中调参数，但是有些账号没有uid就会返回错误，这个要注意。

shelgi
关注
  • 8
    点赞
  • 踩
  • 39
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 17
    评论
专栏目录
用户关系树状图.zip
04-11
实现用户邀请关系树状图，echarts基础 html js css 文件
软件文档
luy3728000的轨迹
02-22 1958
软件描述文档 一、基本信息 1、软件标识 名称、型号、版本、制造商、生产地址 2、安全性级别 安全性级别-ABC级，详述确定理由  A级：不可能对健康有伤害和损坏； B级：可能有不严重的伤害； C级：可能死亡或严重伤害。 3、结构功能 体系结构图用于图示组成模块之间、组成模块与外部接口之间的关系，依据体系结构图描述组成模块（注明选装、模块版本）的功能、模块关系和外部接口
android教程：规划界面和他们之间的关系详细说明
weixin_33704234的博客
11-23 133
多数 App 都有一种内在的信息模型，它能被表示成一个用对象类型构成的树或图。更浅显的说，你可以画一个有不同类型信息的图，这些信息代表用户在你 App 里用户与之互动的各种东西。软件工程师和数据架构师经常使用实例-关系图（Entity-Relationship Diagram，ERD）描述一个应用的信息模型。 让我们考虑一个让用户浏览一群已分类好的新闻事件和图片的应用例子。这种 App 一个可能的...
震撼的CSDN用户关系图
solo的专栏
04-09 2188
前言 在一次校友聚会上，一个做到世界500强公司高级管理层的校友说：在这个城市，要随便找到一个人扯上关系，我最多通过三个人就能办到。这个社会老混混语出惊人，其道理却深值思考。这个社会是一个人与人组成的巨大的关系网络，每个人都是这个巨大网络中的一个节点。如能充分认识和利用这个网络，我们的工作和事业必将如虎添翼。 相信大家都有这样的经历，为了了解软件行业信息或解决开发难题时，都会求搜索和求
034-用户界面设计报告-V1.0
syq8023的博客
12-24 1579
1.1。
Weibored.js:无聊就删微博吧
05-29
安装另一个 用桌面浏览器登录微博 转到个人主页 => 点击「关注」(weibo.com/your_id/follow?... or weibo.com/your_id/myfollow?...) 等待...... (如果没有自动开始，则手动刷新一下页面) 移除所有关注后记得卸载
微博褒贬语料已标注
12-17
微博是中国社交媒体平台中的一种重要形式，用户通过发布短小精悍的文字、图片和视频来分享观点、生活琐事以及参与社会热点讨论。在自然语言处理（NLP）领域，微博因其丰富的文本信息和广泛的社会影响力，成为了研究...
一个无聊的小程序.exe
05-01
一个exe小程序，当你打开后，你会发现桌面上多了点什么。当然，请放心，不会对您的电脑产生影响，希望对您有帮助
Java Web练手做的一个无聊网页小游戏.zip
最新发布
12-01
Java Web练手做的一个无聊网页小游戏.zipJava Web练手做的一个无聊网页小游戏.zip Java Web练手做的一个无聊网页小游戏.zipJava Web练手做的一个无聊网页小游戏.zip Java Web练手做的一个无聊网页小游戏.zipJava Web...
很无聊的图片，随便试试功能的东西
03-05
搞笑图片
Python图形用户界面展示客户关联关系
LMTX069的博客
01-07 946
python图计算，图形关联关系展示，用户界面设计，代码简单封装
一种界面需求分析方法
weixin_30419799的博客
09-28 331
1、引言 软件界面是人与计算机之间的媒介。用户通过软件界面来与计算机进行信息交换。因此，软件界面的质量，直接关系到应用系统的性能能否充分发挥，能否使用户准确、高效、轻松、愉快地工作，所以软件的友好性、易用性对于软件系统至关重要。目前国内软件开发者在设计过程中很注重软件的开发技术及其具有的业务功能，而忽略了用户对软件界面的需求，影响软件的易用性、友好性；对界面设计的研究也集中在界面设计技术、设计...
仿微博系统数据库设计和er图设计
qq_45473439的博客
03-14 2332
表设计 所有表都有字段 字段名 类型 长度 是否可以为空 描述 createtime datetime 是 创建时间 updatetime datetime 是 修改时间 create_by bigint 否 创建人id update_by bigint 否 修改人id is_deleted bit 1 否 软删除(0删除，1不删除，默认为0) 后面表格中不会在写这些字段，建表时每个表都有 字段名 类型 长度 是否可以为空 描述 id bigint
深度剖析Pyechars Graph关系图谱
我的数据分析师之路
04-30 2257
小白看进来，深度剖析Graph关系图谱，还原Graph各参数字段，总结Graph的绘制方式。
python绘制人际关系图,利用Python-iGraph如何绘制贴吧/微博的好友关系图详解
weixin_36062602的博客
03-26 553
前言最近工作中遇到了一些需求，想通过图形化的方式显示社交网络特定用户的好友关系，上网找了一下这方面的图形库有networkx、graphviz等，找了好久我选择了iGraph这个图形库。下面话不多说了，来一起看看详细的介绍吧。安装igraphigraph在Windows下的安装稍微有点麻烦，之前尝试在windows用pip和conda直接装igraph都装不上，后来发现了lfd的网站 Unoffi...
第四十九讲 GUI(图形用户界面)
李阿昀的博客
12-02 1690
GUI的简单概述 Graphical User Interface(图形用户接口)，用图形的方式，来显示计算机操作的界面，这样更方便更直观。与之相对应的Command line User Interface (命令行用户接口），就是常见的Dos命令行操作，需要记忆一些常用的命令，操作不直观。 Awt和Swing Awt 概述 Java为GUI提供的对象都存在java.awt和javax.swing...
Attention+：一种基于关注关系与多用户行为的图推荐算法
yimiaomochu的博客
04-07 1577
刘梦娟, 王巍, 李杨曦,等. AttentionRank~+:一种基于关注关系与多用户行为的图推荐算法[J]. 计算机学报, 2017(3).基于Random Walk的TSPR算法该算法采用一阶Markov-chain计算游走 概 率。方法如下：分别从每个用户节点出发，在“用物品”二分图上进行一轮Random Walk；每当到达 一个节 点 时，需要判断是以概β继续向下游走，还是以1-β概率返回
.net 程序员感觉无聊，应该做什么
04-05
作为一个 AI，我不擅长推荐具体的活动，但以下是一些可能有用的建议： 1. 学习新技术：掌握新的编程语言或框架，或深入了解 .NET 框架的不同部分。这可以帮助您保持对编程的热情并提高技能水平。 2. 参加社区活动：参加 .NET 开发者社区的聚会和会议，与其他开发者交流经验和知识，建立联系，并寻找新的项目和机会。 3. 创造个人项目：开发自己的应用程序或网站，并将其发布到互联网上。这可以帮助您探索新技术和工具，并展示您的编程技能。 4. 培养其他兴趣爱好：参加体育活动、艺术、音乐、烹饪等活动，这些都可以帮助您放松身心，提高创造力和专注力。 5. 参与开源项目：为开源项目贡献代码，这可以帮助您扩展技能和知识，并与其他开发者合作。 总之，无论选择什么活动，重要的是保持好奇心和积极性，不断学习和探索。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shelgi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值