复盘:FaceBook的坑、总结、疑问【FaceBook系列番外篇】

博主分享了在使用Facebook_scraper之前尝试多种方法爬取Facebook数据遇到的问题,包括splash的登录难题、selenium和playwright的自动化测试访问障碍、requests的乱码问题以及Cookie处理。尽管发现电脑端请求能获取数据,但仍然存在基础问题待解决。总结中提到,大部分问题是由于基础知识不扎实导致,将针对这些问题进行优化。
摘要由CSDN通过智能技术生成

        昨天写了Facebook_scraper的文章。

        在用这个包之前,尝试了很多的方法,但是不是请求失败就是获取的内容有问题。所以接下来我要把踩过的坑和我自己的问题总结一下,相当于我的个人笔记了。

1、splash

        splash请求的时候出现了登录的问题,跟浏览器直接打开网页一样,直接跳转登录界面。进因为没有深究splash的cookie登陆问题这个方法就放弃了。

之后splash的cookie登录方法还可以接着尝试......

2、selenium和playwright

        两个自动化测试浏览器访问的问题大同小异,直接地访问出错。

        无论是更换代理,更换网络环境,代码写法等等尝试皆是徒劳。所以觉得Facebook是不是对浏览器模拟做了对应的反爬,所以放弃了。

        这个自动化测试目前是最大的问题,不知道问题出在哪。现在也是毫无头绪。

 错误与之类似,无法正常访问

3、requests 

        当时分析request请求时,因为电脑端的请求

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值