过往与回忆
splash有用吗
前两天,我做了程序通过splash爬取高温预警,其中使用到了splash。有一个学习爬虫的小伙伴看到了以后,就问我说,“仙草哥哥,我之前在培训班上课的时候,没有教splash,只教了selenium,所以我不会这个。请问,splash有用吗?“
听到这位小伙伴的灵魂发问,我非常感动,不禁热泪盈眶,仿若我又看到了从前的时光……
splash没用
几年前,我第一次接触splash的时候,匆匆了解了一下,就给出了判断,splash没用!
为什么当时的我会这么想呢?因为那个时候我致力于解决一个问题,如何应对爬虫的反反爬。那个时候已经出现了很多没办法直接使用selenium解决的问题,我寄希望于使用新的技术,可以改善这一状况,但是在splash的尝试中,我发现不能通过selenium爬的网站,基本上肯定也没办法通过splash爬取,于是我非常的失望
“既然没有办法对反爬有贡献,那就是说这个完全没用咯!反正splash能做的事情,通过selenium都能做,那我还何必浪费时间使用splash呢?这个没用!“
当时的我,就给出了这样一个判断,甚至在后来得知使用splash做异步的爬虫,效率更高的时候,我仍然武断的认为没用,“我可以加机器,我不在乎这个。”