python2.7通过api和threading实现多进程爬取b站up主信息的小程序

最新推荐文章于 2022-05-09 17:32:03 发布

小仙女的小跟班_fairy

最新推荐文章于 2022-05-09 17:32:03 发布

阅读量444

点赞数 1

分类专栏： python爬虫

本文链接：https://blog.csdn.net/qq_32670879/article/details/85772280

版权

该博客介绍了一种利用Python2.7通过Chrome浏览器API获取B站UP主信息的方法。首先，通过F12分析网络请求获取API，然后解析JSON数据。在主程序中，运用threading模块创建进程池，设定最大300个进程同时运行，通过进程池的map函数遍历并调用函数抓取和输出UP主信息。

摘要由CSDN通过智能技术生成

1、通过chrome浏览器的F12进行网络数据加载api的获取。

2、分析加载数据的格式，并通过json模块进行数据格式的转换，方便我们对数据进行获取和进一步操作。

3、在__name__ == __main__'文件中对我们我们的程序内容进行跟进，设置进程池，并进行基本设置（如：最多同时有300个进程在执行。之后我们通过进程池对象的map函数进行函数调用，用户id信息不断地传入到函数中，进行数据的获取和输出。）

# encoding=utf-8
import requests
from multiprocessing.dummy import Pool as ThreadPool
import json

# 获取用户基本信息详情
# https://api.bilibili.com/x/space/acc/info?mid=35228698&jsonp=jsonp
# 获取关注人数，和粉丝数量信息
# http://api.bilibili.com/x/relation/stat?vmid=2342345&jsonp=jsonp


def get_user_info(id):

    userInfo = {}

    # 获取用户名称、mid、性别、签名、头像avatar、用户等级level、用户创建时间、生日birthday、硬币数coins_nums
    # 是否有粉丝徽章、是否是会员（0， 无， 2，年度大会员）、会员状态（0，无，1 启用）
    url = 'https://api.bilibili.com/x/space/acc/info?mid=%s&jsonp=jsonp' % str(id)