最近收到一个小需求,还挺有意思的,因为之前没有接触过翻页这个东西,折腾了一会,原来是个参数,可能也有很多新手遇到过这种问题,分享下。
需求:通过链接获取头条评论内容并匹配关键词进行筛选
步骤
1. 抓包,找到评论的url
2. 补齐参数,需要翻页和链接Group_id
3. 挂代理IP,速度慢可以不用
4. 根据翻页逻辑获取全部评论内容并判断是否符合关键词,符合跳出
有跳动相关的爬虫逆向协议业务可以交流沟通下,最近很清闲可以接点小单玩玩,另外可分享提供整套算法。
最近收到一个小需求,还挺有意思的,因为之前没有接触过翻页这个东西,折腾了一会,原来是个参数,可能也有很多新手遇到过这种问题,分享下。
需求:通过链接获取头条评论内容并匹配关键词进行筛选
步骤
1. 抓包,找到评论的url
2. 补齐参数,需要翻页和链接Group_id
3. 挂代理IP,速度慢可以不用
4. 根据翻页逻辑获取全部评论内容并判断是否符合关键词,符合跳出
有跳动相关的爬虫逆向协议业务可以交流沟通下,最近很清闲可以接点小单玩玩,另外可分享提供整套算法。