在爬虫的过程中,我们有时需要实时的爬取的过程显示出来。如果采用正常的http协议,只有客户端发送请求,服务器才能做出响应,但是爬虫是在后端跑的,什么时候产生什么信息,没法直接发送给前端。可能我们会想到一个办法,就是后端维护一个缓存信息,然后前端定时的轮询这个信息,并取走显示出来。但是有了websocket,服务器就可以直接向客户端发送信息了。相比轮询有以下优点:
1. 节约带宽。 不停地轮询服务端数据这种方式,使用的是http协议,head信息很大,有效数据占比低, 而使用WebSocket方式,头信息很小,有效数据占比高。
2. 无浪费。 轮询方式有可能轮询10次,才碰到服务端数据更新,那么前9次都白轮询了,因为没有拿到变化的数据。 而WebSocket是由服务器主动回发,来的都是新数据。
3. 实时性,考虑到服务器压力,使用轮询方式不可能很短的时间间隔,否则服务器压力太多,所以轮询时间间隔都比较长,好几秒,设置十几秒。 而WebSocket是由服务器主动推送过来,实时性是最高的。
所以我们就想通过websocket来实现消息的推送功能。在实现的过程中遇到了一个很大的问题,那就是autowired在websocket中失效了。最后各种找,还是在csdn里找到了。
首先呢,要在项目里加上websocket的依赖,在pom.xml的dependencies里加上这个:
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-websocket&l