【FaceBook系列二】再见了,Facebook_scraper?Python的session请求获取Facebook的群组数据。

本文探讨了如何利用Python的session请求获取Facebook群组信息,详细介绍了get_group_info的工作原理,包括URL的拼凑和保持会话的重要性。作者通过实践,成功抓取到了群组数据,并分享了数据解析的代码,强调了代理服务对于稳定请求的重要性。文章最后,作者鼓励读者面对困难要坚持并善于复盘,以获得新的发现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

        书接上回,上次说了分析一下Facebook_scraper源码的其他方法,其中的一个方法叫做get_group_info,是专门获取组群信息的一个方法:

        而调用这个方法,只需要把相关组群的id传入方法就可以了,之后它会自动拼凑请求的链接获取数据。但是,我顺藤摸瓜,发现了一点有趣的东西。

get_group_info的工作原理

        首先,传入小组的id,拼凑好url,进入到self.get的方法内。

        进入到get方法之后,又进行了一次拼凑url的步骤: utils.urljoin(FB_MOBILE_BASE_URL, url)

        这个FB_MOBILE_BASE_URL参数一看就知道,这不就是移动端的链接吗。

        看到这我就绷不住了,我之前死活请求移动端的链接,返回的都是错误的信息。我心想,我要是搞清楚他的请求方式,不就不需要用这个包了吗。于是乎抱着试试看的心情,接着往下看吧。

        拼凑好移动端url之后,下面有一个请求的方法:self.session.get()

        看到这儿我明白了。

    我还是菜啊

         通过requests_html里面的HTMLSession中的session请求保证了会话维持,从而获取到请求的内容。

        知道包里面的,算是比较核心

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值