Python爬虫:爬取斗鱼直播信息(实例)

以爬取斗鱼直播页面的部分信息为例:

"""
https://www.douyu.com/gapi/rkc/directory/0_0/2
https://www.douyu.com/gapi/rkc/directory/0_0/3
"""

import requests

#请求网页
def page_def(url,ua):
    resp = requests.get(url,headers = ua)
    json_text = resp.json()
    return json_text


#解析网页
def info_def(json_text):
    douyu_list=[]
    for i in range(len(json_text['data']['rl'])):
        data_list = json_text['data']['rl'][i]
        #print(data_list)
        temp_dict={
            'rid':data_list['rid'], #主播ID
            'rn':data_list['rn'], #主题
            'nn':data_list['nn'], #昵称
            'ol':data_list['ol'], #点击数
            'c2name':data_list['c2name'], #分类
            'url':'https://www.douyu.com/'+str(data_list['rid'])
        }
        douyu_list.append(temp_dict)
    return douyu_list

#写入csv
def csv_def(douyu_list):
    import csv
    with open(r'C:\Users\HP\Desktop\douyu.csv','a',encoding='utf-8-sig',newline='') as cf:
        w = csv.DictWriter(cf,fieldnames = ['rid','rn','nn','ol','c2name','url'])
        w.writeheader()
        w.writerows(douyu_list)
        print("爬取完成!")

#主函数
def main_def():
    ua = {'User-Agent':'User-Agent:Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'}
    for i in range(1,11):
        url = 'https://www.douyu.com/gapi/rkc/directory/0_0/%d'%(i)
        json_text = page_def(url,ua)
        douyu_list = info_def(json_text)
        print("正在爬取第%d"%(i)+"页")
        csv_def(douyu_list)
    
if __name__ == '__main__':
    main_def()

在这里插入图片描述
在这里插入图片描述

  • 5
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值