python爬取微信公众号network_python如何爬取搜狗微信公众号文章永久链接的思路解析...

这篇文章主要介绍了python如何爬取搜狗微信公众号文章永久链接的思路解析 ,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧。

本文主要讲解思路，代码部分请自行解决搜狗微信搜素获取公众号及文章

通过微信公众平台获取永久链接

python+scrapy框架

mysql数据库存储+读取公众号

获取搜狗微信上当天的信息排名

指定输入关键字，通过scrapy抓取公众号

通过登陆微信公众号链接，获取cookie信息

由于模拟登陆微信公众平台还未解决，因此需要手动登陆，实时获取cookie信息

在这里可以实现转变永久链接

代码部分def parse(self, response):

item = SougouItem()

item["title"] = response.xpath('//title/text()').extract_first()

print("**"*5, item["title"],"**"*5)

name = input("----------请输入需要搜索的信息：")

print(name)

url = "http://weixin.sogou.com/weixin?query="+name+"&type=2&page=1&ie=utf8"

yield scrapy.Request(url=url, callback=self.parse_two, meta={"name":name})

搜狗微信中会出现访问频率过快，导致需要输入验证码def parse_two(self, response):

print(response.url)

name = response.meta["name"]

resp = response.xpath('//ul[@class="news-list"]/li')

s = 1

# 判断url 是否是需要输入验证码

res = re.search("from", response.url) # 需要验证码验证

if res:

print(response.url)

img = response.xpath('//img/@src').extract()

print(img)

url_img = "http://weixin.sogou.com/antispider/"+ img[1]

print(url_img)

url_img = requests.