Python实现主播人气排行榜,带你发现人气王

前言

随着现在直播的兴起,主播这个职业逐渐走入人们的视野。越来越多有颜值、有才艺的人纷纷加入到主播这个行业。但是主播最难熬的就是前期粉丝的积累,粉丝多人气就高。

接下来带大家爬取主播直播间人气数据,发现人气王!!

展示效果:

颜值区的主播人气值

本文知识点:

1、系统性的网页分析

2、数据处理

3、jsonpath模块的使用

环境介绍:

python 3.6

pycharm

requests

josnpath

爬虫的一般思路

1、分析目标网页,确定爬取的url路径,headers参数

2、发送请求 -- requests 模拟浏览器发送请求,获取响应数据

3、解析数据 -- jsonpath模块:JsonPath 是一种信息抽取类库,是从JSON文档中抽取指定信息的工具

4、数据输出

爬取数据

1、导入相关的数据库

import jsonpath
import requests
import pprint

2、分析目标网页,确定爬取的url路径,headers参数

URL地址:

headers参数:

base_url = 'https://www.douyu.com/gapi/rknc/directory/yzRec/1'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'}

3、发送请求 -- requests 模拟浏览器发送请求,获取响应数据

response = requests.get(url=base_url, headers=headers)
json_data = response.json()

4、解析数据 -- jsonpath模块:JsonPath 是一种信息抽取类库,是从JSON文档中抽取指定信息的工具

字典根据值降序排列

sorted方法,sorted的三个参数:

iterable : 可迭代对象。

key : 主要是用来进行比较的元素,只有一个参数,具体的函数的参数就是取自于可迭代对象中,可以指定可迭代对象中的一个元素来进行排序。

reverse :排序规则,reverse = True 降序 , reverse = False 升序(默认)。

names = jsonpath.jsonpath(json_data, '$..nn')  # $ 从根节点提取  .. 跨节点提取
hot = jsonpath.jsonpath(json_data, '$..ol')
print(names)
print(hot)

item_dict = {}
for name, value in zip(names, hot):
    # print(name, value)
    item_dict[name] = value
print(item_dict)

print(item_dict.items())  # items() 函数以列表返回可遍历的(键, 值) 元组数组。

change_score = sorted(item_dict.items(), key=lambda x: x[1], reverse=True)  # lambda中的1是元组的索引
print(change_score)

5、数据输出

enumerate枚举 enumerate多用于在for循环中得到计数,利用它可以同时获得索引和值,即需要index和value值的时候可以使用enumerate

or player, hot_num in enumerate(change_score):
    print('第{}名=======是{}========人气值为:{}'.format(player

 

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值