python爬虫 求助 关于获取websocket数据的方法

python爬虫 求助 关于获取websocket数据的方法

在爬取网站: https://cn.tradingview.com/symbols/NYSE-HUI/
时遇到的问题.
在这里插入图片描述
如图,我的目标数据是图中红色框框圈起来的四组数据,在我检查该网站的结构后,发现这组数据是渲染出来的,没办法用requests库获取到.
仔细检查后发现数据时通过websocket传过来的,如图:
在这里插入图片描述
然后但这里我就遇到瓶颈了,当我想通过websocket-client模拟时,发现有个参数不知道哪来的,如图:
在这里插入图片描述
虽然我对websocket不太熟,但我也能发现这个参数似乎跟连接有关系,每次重建连接时这个参数都会变化,我直接拿过来用也是不行 的,说明必须得模拟出这个参数是怎么来的.
我也想过用selenium加无头浏览器的方法来获取,我windows系统试了试selenium加chrome是可以的.但我们服务器是无图形化界面的centos6.5系统版本,不支持高版本的chrome浏览器,而低版本的chrome浏览器又不支持无头模式.试图给服务器安装火狐也是各种报错,最后没办法,安装的phantomjs.安装成功了,运行了一遍代码后却发现:
在这里插入图片描述
如图,这是phantomjs截屏截下来的,phantomjs并没有渲染出来数据…应该是不支持websocket?
我懵了,本来挺简单的一个问题,现在弄得怎么都获取不到数据了,卡了我两天了,该如何是好?还请大神赐教

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值