搜狗微信搜索爬虫

qq_36532060

于 2024-08-30 11:57:05 发布

阅读量422

点赞数 4

文章标签： python

本文链接：https://blog.csdn.net/qq_36532060/article/details/141714055

版权

文章目录

前言
列表采集
详情采集

前言

最近在做一个语料采集的项目，其中有涉及到公众号内容采集（非指定公众号而是指定关键词的采集），于是考虑使用搜狗采集，记录一下采集过程

列表采集

打开搜狗页面输入关键词，选择微信，直接搜索，查看F12发现需要的列表内容直接就在DOC文档里，postman验证一下直接URL输入就可以采集到，属于是比较容易的采集类型
在这里插入图片描述

详情采集

通过列表采集到的url是/link这样的形式，需要拼接还会有跳转，这一步是需要解决的
在这里插入图片描述
如图示的原始链接为https://weixin.sogou.com/link?url=dn9a_-gY295K0Rci_xozVXfdMkSQTLW6ft3wfAVofsP5Peu-UiA4DGseIEA7zE2zlj4s3ji8u8GVgrFeYQugDsScNWNhR16IPBQ5xHZTJMofuyJy4xt5exMSe0Q-wpcGJiUoSonxbEsfuSSrjQIuccSq-1fNJZF2hUQpUjvo0qtu8iygQXIjl1SrWJX0d6AM35pMJkC9ozB6UxBa1hZYHbMhGiRiC_qmt8AmPpzYfLfmn_8ekF_xC_Q1IvX2-Tzra8RdgdEqMnT4Z9KRwPzScjgZHTk8WJz5yDYUgTcZbC3xbso0aod2jCXucl6fR1sLiZqwg0yoRFw.&type=2&query=%E7%99%BD%E6%9C%AF&token=257BEA52D17286B8C8C1E719A6019408C81F185666D13FAB
输入到浏览器的地址栏之后会跳转到https://mp.weixin.qq.com/s?src=3&timestamp=1724989355&ver=1&signature=H1efLtkgEVg8AFd308YzX-KoqdIOg9nVsLPiC9D5eFwfkKlZHD3z1mE1QcOd2EkpFE-Lv64BBp7789obYbg42mkHTeflcuuyMt5HmcMKTmcd3tv0VVUdULJ3lXMuZH2KWzzSibjV4Nb14b0aGU8TP6LrFyJJ4CXAbTG97Z*c4=
在这里插入图片描述
其中需要一步转换过程，postman直接调用一下转换前的链接

算是有点意料之外的转换方式了，写个正则抽出来拼接一下就行了