昨天写了Facebook_scraper的文章。
在用这个包之前,尝试了很多的方法,但是不是请求失败就是获取的内容有问题。所以接下来我要把踩过的坑和我自己的问题总结一下,相当于我的个人笔记了。
1、splash
splash请求的时候出现了登录的问题,跟浏览器直接打开网页一样,直接跳转登录界面。进因为没有深究splash的cookie登陆问题这个方法就放弃了。
之后splash的cookie登录方法还可以接着尝试......
2、selenium和playwright
两个自动化测试浏览器访问的问题大同小异,直接地访问出错。
无论是更换代理,更换网络环境,代码写法等等尝试皆是徒劳。所以觉得Facebook是不是对浏览器模拟做了对应的反爬,所以放弃了。
这个自动化测试目前是最大的问题,不知道问题出在哪。现在也是毫无头绪。
错误与之类似,无法正常访问
3、requests
当时分析request请求时,因为电脑端的请求