这篇文章主要介绍了python如何爬取搜狗微信公众号文章永久链接的思路解析 ,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧。
本文主要讲解思路,代码部分请自行解决搜狗微信搜素获取公众号及文章
通过微信公众平台获取永久链接
python+scrapy框架
mysql数据库存储+读取公众号
获取搜狗微信上当天的信息排名
指定输入关键字,通过scrapy抓取公众号
通过登陆微信公众号链接,获取cookie信息
由于模拟登陆微信公众平台还未解决,因此需要手动登陆,实时获取cookie信息
在这里可以实现转变永久链接
代码部分def parse(self, response):
item = SougouItem()
item["title"] = response.xpath('//title/text()').extract_first()
print("**"*5, item["title"],"**"*5)
name = input("----------请输入需要搜索的信息:")
print(name)
url = "http://weixin.sogou.com/weixin?query="+name+"&type=2&page=1&ie=utf8"
yield scrapy.Request(url=url, callback=self.parse_two, meta={"name":name})
搜狗微信中会出现访问频率过快,导致需要输入验证码def parse_two(self, response):
print(response.url)
name = response.meta["name"]
resp = response.xpath('//ul[@class="news-list"]/li')
s = 1
# 判断url 是否是需要输入验证码
res = re.search("from", response.url) # 需要验证码验证
if res:
print(response.url)
img = response.xpath('//img/@src').extract()
print(img)
url_img = "http://weixin.sogou.com/antispider/"+ img[1]
print(url_img)
url_img = requests.