Python爬虫：斗鱼TV(1)，四年Python面试遇到的问题整理

最新推荐文章于 2024-10-06 07:39:55 发布

2401_83974783

最新推荐文章于 2024-10-06 07:39:55 发布

阅读量907

点赞数 16

分类专栏： 2024年程序员学习文章标签： python 爬虫 c++

本文链接：https://blog.csdn.net/2401_83974783/article/details/137236393

版权

2024年程序员学习专栏收录该内容

248 篇文章 0 订阅

订阅专栏

Screen Shot 2016-02-09 at 1.01.51 PM.png

Screen Shot 2016-02-09 at 12.44.01 PM.png

通过这步，我们就拿到了主播的信息以及弹幕服务器的认证地址，端口。

1.3.发送Socket消息的流程简介

我们通过抓包，分析那一大坨数据包，可以确定以下通过以下的流程便可以获取弹幕消息。（分析过程比较繁琐）

首先建立两个Socket。一个用于认证(@danmu_auth_socket)，另一个用户获取弹幕(@danmu_client)。

步骤1: @danmu_auth_socket 发送消息登陆,获取消息1解析出匿名用户的用户名，再获取消息2解析出gid
步骤2: @danmu_auth_socket 发送qrl消息，获取两个没有什么用的消息
步骤3: @danmu_auth_socket 发送keeplive消息
步骤4: @danmu_socket 发送伪登陆消息（所有匿名用户都一样只需要输入步骤一中用户名就行了，因为认证已经在上面做过了）
步骤5: @danmu_socket 发送join_group消息需要步骤一中国的gid
步骤6: @danmu_socket 不断的recv消息就可以获取弹幕消息了

后面会详细解释

2.1.消息Socket消息格式以及发送一条消息

既然是发消息，那么每条消息总是有些格式的。

斗鱼的消息格式大致如下：

douyutveachmsg.png

每一条消息并遵循下面的格式：

1.通信协议长度,后四个部分的长度,四个字节

2.第二部分与第一部分一样

3.请求代码,发送给斗鱼的话,内容为0xb1,0x02, 斗鱼返回的代码为0xb2,0x02

4.发送内容

5.末尾字节

-- encoding : utf-8 -- class Message # 向斗鱼发送的消息 # 1.通信协议长度,后四个部分的长度,四个字节 # 2.第二部分与第一部分一样 # 3.请求代码,发送给斗鱼的话,内容为0xb1,0x02, 斗鱼返回的代码为0xb2,0x02 # 4.发送内容 # 5.末尾字节 #pack(‘c’)是字节数组转字符串的一种诡异的转化方式 def initialize(content) @length = [content.size + 9,0x00,0x00,0x00].pack(‘c’) @code = @length.dup @magic = [0xb1,0x02,0x00,0x00].pack(‘c’) @content = content @end = [0x00].pack(‘c’) end def to_s @length + @code + @magic + @content + @end end end

经过封装，我们仅仅关注那些可见的字符串，也就是Content部分就可以了。

content部分，也就是发送消息的内容，在文章后面将会详解。

开启两个Socket，一个用户认证，另一个用于弹幕的获取。

用于用户弹幕认证的，是2.1中所说的认证服务器列表中任意一个。挑选出来一组ip和端口

@danmu_auth_socket = TCPSocket.new @auth_dst_ip,@auth_dst_port

用户获取弹幕的只要为

danmu.douyutv.com:8601 danmu.douyutv.com:8602 danmu.douyutv.com:12601 danmu.douyutv.com:12602

四组域名:端口均可以作为如下的DANMU_SERVER和PORT

@danmu_socket = TCPSocket.new DANMU_SERVER,DANMU_PORT

发送一条消息只需如此

data = "type@=loginreq/username@="+@username+"/password@=1234567890123456/roomid@=" + @room_id.to_s + "/" all_data = message(data) @danmu_socket.write all_data

把需要传输的字符串放进去就好了.

接下来，我们需处理上面说的六个步骤

2.2.发送消息详细流程之步骤一

发送消息内容为：

type@=loginreq/username@=/ct@=0/password@=/roomid@=156277/devid@=DF9E4515E0EE766B39F8D8A2E928BB7C/rt@=1453795822/vk@=4fc6e613fc650a058757331ed6c8a619/ver@=20150929/

我们需要注意的内容如下：

type 表示消息的类型登陆消息为loginreq username 不需要，请求登陆以后系统会自动的返回对应的游客账号。 ct 不清楚什么意思，默认为0并无影响 password 不需要 roomid 房间的id devid 为设备标识，无所谓，所以我们使用随机的UUID生成 rt 应该是runtime吧，时间戳 vk 为时间戳+“7oE9nPEG9xXV69phU31FYCLUagKeYtsF”+devid的字符串拼接结果的MD5值（这个是参考了一篇文章，关于这一处我也不大明白怎么探究出来的） ver 默认

通过这一步，我们可以获取两条消息，并从消息中使用正则表达式获取对应的用户名以及gid

str = @danmu_auth_socket.recv(4000) @username= str[/\/username@=(.+)\/nickname/,1] str = @danmu_auth_socket.recv(4000) @gid = str[/\/gid@=(\d+)\//,1]

2.3.发送消息详细流程之步骤二

发送的消息内容为

“type@=qrl/rid@=” + @room_id.to_s + “/”

无需多说，类型为qrl，rid为roomid，直接发送这条消息就好。返回的两条消息也没有什么价值。

data = "type@=qrl/rid@=" + @room_id.to_s + "/" msg = message(data) @danmu_auth_socket.write msg str = @danmu_auth_socket.recv(4000) str = @danmu_auth_socket.recv(4000)

2.4.发送消息详细流程之步骤三

发送的消息内容为

“type@=keeplive/tick@=” + timestamp + “/vbw@=0/k@=19beba41da8ac2b4c7895a66cab81e23/”

直接发送。无太大意义。

data = "type@=keeplive/tick@=" + timestamp + "/vbw@=0/k@=19beba41da8ac2b4c7895a66cab81e23/" msg = message(data) @danmu_auth_socket.write msg str = @danmu_auth_socket.recv(4000)

前三步，也就是2.2-2.3-2.4三步骤，也就是使用@danmu_auth_socket 完成获取username和gid的重要步骤。获取这两个字段以后，也就完成了它存在的使命。

接下来的就是@danmu_socket获取弹幕的时候了！

2.5.发送消息详细流程之步骤四

消息内容为:“type@=loginreq/username@=”+@username+“/password@=1234567890123456/roomid@=” + @room_id.to_s + “/”

和上面2.2中略有不同。但是，需要注意的是

username 为2.2中所得到的username password 的值得变化

data = "type@=loginreq/username@="+@username+"/password@=1234567890123456/roomid@=" + @room_id.to_s + "/" all_data = message(data) @danmu_socket.write all_data str = @danmu_socket.recv(4000)

2.6.发送消息详细流程之步骤五

接下来就是完成认证的最后一步了，join_group的消息内容为

“type@=joingroup/rid@=” + @room_id.to_s + “/gid@=”+@gid+“/”

gid为2.2中所得到的gid。

data = "type@=joingroup/rid@=" + @room_id.to_s + "/gid@="+@gid+"/" msg = message(data) @danmu_socket.write msg

2.7.发送消息详细流程之步骤六

获取弹幕，并且打印出来。

danmu_data = @danmu_socket.recv(4000) type = danmu_data[danmu_data.index("type@=")..-3] puts type.gsub('sui','').gsub('@S','/').gsub('@A=',':').gsub('@=',':').split('/')

后三步，则是@danmu_socket 获取弹幕的步骤。

于是，通过这些步骤，就可以完成了简单的danmu的核心代码，接下来的步骤就是完善，重构这些代码了。

总结

–