入手了一个树莓派4B,想爬一些种子网站(手动滑稽)。运用往常的requests + lxml 一顿操作发现站点加了DDOS防护不可用,无法请求到真实页面。经常度娘一番查找,发现了selenium这么个玩意配合浏览器可以模拟浏览器行为。于是踩了大坑。。
selenium 可以配合 多种浏览器,其中最多的就是 chrome 和 firefox (网上教程也最多)
由于是phper,自然选择chrome,碍于基础知识太差,搜索了很多非arm架构下的教程,全部GG,经过一番google和度娘,遂成此文。
关于树莓派说一下几个坑:
- 树莓派的ARM架构,chrome + selenium 不再支持 ,不需要再去捣鼓了,此路完全不通 因此此文以 firefox 继续
- 树莓派的源,有很多的依赖装不上,此时,通过更换源,可以装上,这里大家还是建议自备梯子用官方源,能装大部分
- 搜教程 用树莓派做关键词先找教程。。
这里大家可以先看下这个文章:
http://www.knight-of-pi.org/python3-browser-tests-on-a-raspberry-pi-with-firefox-virtualdisplay-selenium-and-pytest/
本文大部分是重复这里的步骤
正文开始
-
根据教程安装依赖<