python破解websocket加密爬虫

进入正题

进入网站 https://www.fmz.com/robot/171548
可以发现，该网站，每隔几分钟就会发布一条币种信息

通过对该网站研究和抓包，对这种即时信息的发布，可以怀疑请求是wss，可以在wss请求中找到对应的内容，但是该网站wss返回的信息确实看不懂的信息

解决方法

对这种信息，可以怀疑浏览器解码不了，因此也可以使用其他抓包软件比如fiddle，去抓取该wss信息，然后
查看内容，结果也是看不懂的信息。因此怀疑返回的数据需要进行解密或者其他方式
通过进一步查看该wss网址，wss://www.fmz.com/ws_botvs_v1?compress=zlib
可以发现，后面compress=zlib,压缩=zlib。因此对返回的数据可以尝试进行zlib解压缩得到

分析websocket send发送过去的数据

查找相应的js文件，通过对websocket的熟悉，可以在js中搜索相关关键字，onopen 然后在script js中找到相关信息

断点调试，进入到这里

通过debug来到这里，发现向服务器send了一串数据，打印数据可以发现

打印数据

发现主要是通过for循环向服务器发送2次一串的data数据，打印后可以得到这样的字符串。

尝试写代码，向服务器发送同样的字符串

这里需要注意的几点是

• 在网页请求中，调试可以看出，send发送的是二进制数据，所以websocket应该用send_binary方法
• 同时，发送的应该是元素是整数的列表
• 最后发送byte类型的数组过去
• 发送了2个data数据，测试只需要发送一个data就可以获得数据

简单贴上代码

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
    }
    url = 'wss://www.fmz.com/ws_botvs_v1?compress=zlib'
    ws = websocket.create_connection(url, timeout=10, headers=headers)


    b = "120,156,101,142,65,11,194,48,12,133,255,75,206,69,218,233,152,244,170,32,130,120,208,227,40,210,214,176,150,117,171,180,213,131,226,127,55,14,189,40,185,124,121,121,121,201,3,6,44,46,158,65,182,176,193,114,136,38,150,53,22,237,3,48,56,94,77,182,201,27,156,100,18,190,142,93,236,50,40,6,23,157,244,144,105,183,21,141,168,23,75,197,126,129,241,169,42,254,1,193,249,31,214,162,34,84,148,23,244,216,129,132,187,59,173,246,116,174,196,30,71,234,9,173,182,14,65,242,55,133,96,180,237,183,244,51,8,26,221,48,101,31,201,55,159,53,207,23,52,75,58,244"
    b = [int(i) for i in b.split(",")]
    ws.send_binary(bytes(b))
    content_compress = ws.recv()
    content = zlib.decompress(content_compress)
    print(content.decode())

最后得到结果