原标题:用Python爬取腾讯视频弹幕
via:菜J学Python
1.网页分析
本文以爬取《脱口秀大会 第3季》最后一期视频弹幕为例,首先通过以下步骤找到存放弹幕的真实url。
通过删减各参数,发现仅有timestamp参数的变化会影响弹幕数据的爬取,且timestamp参数是首项为15,公差为30的等差数列。可以大胆猜测腾讯视频每30秒更新一页弹幕数据,该视频长度为12399秒。而数据格式为标准的json格式,因此json.loads直接解析数据即可。
2.爬虫实战
importrequests
importjson
importtime
importpandas aspd
df = pd.DataFrame
forpage inrange( 15, 12399, 30):
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
url = 'https://mfm.video.qq.com/danmu?otype=json×tamp={}&target_id=5938032297%26vid%3Dx0034hxucmw&count=80'.format(page)
print( "正在提取第"+ str(page) + "页")
html = requests.get(url,headers = headers)
bs = json.loads(html.text,strict = False) #strict参数解决部分内容json格式解析报错
time.sleep( 1)
#遍历获取目标字段
fori inbs[ 'comments']:
content = i[ 'content'] #弹幕
upcount = i[ 'upcount'] #点赞数
user_degree =i[ 'uservip_degree'] #会员等级
timepoint = i[ 'timepoint'] #发布时间
comment_id = i[ 'commentid'] #弹幕id
cache = pd.DataFrame({ '弹幕':[content], '会员等级':[user_degree],
'发布时间':[timepoint], '弹幕点赞':[upcount], '弹幕id':[comment_id]})
df = pd.concat([df,cache])
df.to_csv( 'tengxun_danmu.csv',encoding = 'utf-8')
print(df.shape)
3.数据预览
责任编辑: