python爬取直播礼物信息_python爬行虎牙弹幕礼品资料,爬取,礼物,数据

查看官方文档

官方文档链接：https://dev.huya.com/docs#/%E5%BC%80%E6%94%BEAPI%E6%8E%A5%E5%85%A5%E8%AF%B4%E6%98%8E

会看到官方已经提供对应的接口。咱们只需要根据文档通过python实现就行了。

找到弹幕传输的方式

这里咱们可以发现，是通过两种方式传输过来的。websocket和https这两种都能获取到弹幕的信息。下面介绍一下websocket的链接方式。

生成websocket对应的参数

其实官方文档已经告诉你了，怎么建立链接了。下面我一步一步根据官方文档走，可能是因为讲的太详细了，本人踩了一些坑。

第一步：

这里就说明了，需要用到jwt的验证。这里要注意的是Header，是默认的，根据你使用的jwt的方式默认的。不需要放在signature中。

第二步：

调通字段：header表明的是jwt的认证方式，HS256的加密算法。

payload这里面缺少了房间id，实际应该是

{

"iat":1556188391,

"exp":1556188991,

"appId":"xxxxxxxxxxxx",

"roomId":roomId

}

然后再用jwt根据文档做进一步处理。生成对应的Signature。python有第三方jwt库可以直接用

附上对应的方法

import jwt

def get_sign(room_id,app_id,secret):

payload = {

"iat":int(time.time()),

"exp":int(time.time())+600,

"roomId":room_id,

"appId":app_id

}

token = jwt.encode(payload,secret,algorithm='HS256')

return token

其中iat是当前时间戳，exp是当前时间戳加上600秒。app_id以及secret是你成为虎牙开发者的时候，会有这两个信息给到你的。

调通websocket

建立链接

根据上一步，把所有对应的参数都获取到了。然后通过python的webscoket链接的方式，先建立链接。

获取数据和保持心跳

这一步发送的是你想要获取到的数据，里面包含了很多数据。具体的数据详情见虎牙开发者官方文档。

再下一步是保持心跳。保持心跳的方式很简单，就是建立连接后，保持固定的时间，发送ping字符串即可。

附上完整代码

import jwt

import websocket

try:

import thread

except ImportError:

import _thread as thread

import json

import time

def get_sign(room_id,app_id,secret):

payload = {

"iat":int(time.time()),

"exp":int(time.time())+600,

"roomId":room_id,

"appId":app_id

}

token = jwt.encode(payload,secret,algorithm='HS256')

return token

def on_message(ws, message):

info = json.loads(message)

print(info)

def on_error(ws, error):

print(error)

def on_close(ws):

print("### closed ###")

def on_open(ws):

def run(*args):

ws.send('{"command":"subscribeNotice","data":["getMessageNotice","getVipEnterBannerNotice","getSendItemNotice","getOnTVAwardNotice", "getOpenNobleNotice", "getOpenGuardianNotice", "getUserMutedNotice"],"reqId":"123456789"}')

while True:

ws.send("ping")

time.sleep(10)

thread.start_new_thread(run, ())

if __name__ == "__main__":

room_id = 521000

app_id = 'xxxxxxxxxxxxxxxx'

secret = 'xxxxxxxxxxxxxxxxxxx'

sign = get_sign(room_id,app_id,secret)

print(sign.decode())

websocket.enableTrace(True)

ws = websocket.WebSocketApp(

"ws://ws-apiext.huya.com/index.html?do=comm&roomId="+str(room_id)+"&appId="+app_id+"&iat="+str(int(time.time()))+"&sToken="+sign.decode(),

on_message=on_message,

on_error=on_error,

on_close=on_close)

ws.on_open = on_open

ws.run_forever()

后续会更新直播间详情的信息爬取。

注：

此博客纯手工，如有和其他博主的博客雷同或涉及到侵权，请麻烦联系一下我。