爬虫小计（charles抓取wss数据--yy数据爬取）

背景

1. 爬取一个直播平台的信息与一个普通网站的数据
2. 直播平台的信息有热门主播的在线人数，时常，与热门直播的礼物情况（粉丝的人物画像）

难点

1. 打赏礼物的人物画像
2. https
3. wss（数据的实时性），需要模拟匿名用户的访问，某直播网站的wss数据又是二进制数据
4. 头大的js代码，无限多，无限长

分析

1. 一般普通数据用java jsoup来解决
2. wss的数据需要先模拟匿名登录，拿到binary data。然后再来分析网站的js代码，进行解析。

找工具

1. chrome 开发者工具，f12 ws选择只能看到frames在走动与我们两个互不认识的binary。
2. wireshark，伤心本来报很大希望但是无法通过websocket方式来搜索出来，而且即时分析出来，我估计也不知道如何截取，这个后面再做研究如何使用，看到有人说直接搜websocket是可以看到的。但是通过websocket filter我真的找不到自己想要的数据。除非通过ip.addr ip.src 等等
3. charles，无意中发现的。真如其名，charles。虽然开始也用不好，但是最后还是搞定了，下面具体说说如何使用的吧。

charles工具

1. 先激活

// Charles Proxy License
// 适用于Charles任意版本的注册码，谁还会想要使用破解版呢。
// Charles 4.2目前是最新版，可用。
Registered Name: https://zhile.io
License Key: 48891cf209c6d32bf4

2. 安装 ssl证书支持

help->SSL proxying->install charles  root certificate
下面这篇文章说的非常好
https://www.cnblogs.com/ceshijiagoushi/p/6812493.html

3. 设置代理，同样是上面的文章，不过我建议使用 *:443

查看结果

1. 在浏览器上访问你要访问的网站
2. 普通的https网页已经在后侧可以看到内容了
3. 同样wss的抓取也出来，但是具体的binary data。还是需要自己分析的哦

目前使数据可以抓取到，接下来就是需要对二进制数据进行分析解析，获取有价值数据。

原创文章，版权所有，禁止抄袭，违者必究！！！转载请注明出处！！！技术需要请联系3684170@qq.com.