Python数据爬虫学习笔记（13）爬取微信文章数据

一、需求：在微信搜索网站中,通过设定搜索关键词以及搜索页面数，爬取出所有符合条件的微信文章：

二、搜索页URL分析阶段：

1、在搜索框中输入任意关键词，在出现的搜索结果页面点击下一页，将每一页的URL复制下来进行观察：

2、注意到页码由page=X决定，搜索关键词由query=X决定，URL中的其它变量可以通过逐个删除测试的方式探究是否为必要变量，注意尽量不要使用QQ浏览器，由于QQ浏览器对于微信过于“智能”，URL在错误的情况下仍有可能出现正常的网页。

三、搜索结果的元素网页URL分析阶段：

1、观察搜索结果页面的源代码：

注意到，搜索结果的元素网页的网址被<a target="_blank" href=".......“所包围。

2、但是发现，源代码中的URL打开时（注意要通过复制URL至网址栏，再回车的方式，不要在源代码界面点击URL打开），会提示参数错误：

与手动搜索的网页URL比对注意到，源代码中的URL多了”&amp;“，删除之后URL打开正常，因此爬取出的URL需要搜索出该段字符进行删除。

四、编写代码：

import re
import urllib.request
import time
import urllib.error
import urllib.request
#自定义函数，功能为使用代理服务器爬一个网址
def use_proxy(proxy_addr,url):
    #建立异常处理机制
    try:
        req=urllib.request.Request(url)
        #浏览器伪装
        req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6726.400 QQBrowser/10.2.2265.400")
        proxy= urllib.request.ProxyHandler({'http':proxy_addr})  
        opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)  
        urllib.request.install_opener(opener)
        data = urllib.request.urlopen(req).read()
        return data
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
        #若为URLError异常，延时10秒执行
        time.sleep(10)
    except Exception as e:
        print("exception:"+str(e))
        #若为Exception异常，延时1秒执行
        time.sleep(1)

#设置关键词            
key="Python"
#设置代理服务器，该代理服务器有可能失效，读者需要换成新的有效代理服务器
proxy="127.0.0.1:8888"
#爬多少页
for i in range(0,10):
    key=urllib.request.quote(key)
    thispageurl="http://weixin.sogou.com/weixin?type=2&query="+key+"&page="+str(i)
    thispagedata=use_proxy(proxy,thispageurl)
    #检验是否爬取到了数据
    print(len(str(thispagedata)))
    pat1='<a target="_blank" href="(.*?)"'
    rs1=re.compile(pat1,re.S).findall(str(thispagedata))
    if(len(rs1)==0):
        print("此次（"+str(i)+"页）没成功")
        continue
    for  j in range(0,len(rs1)):
        thisurl=rs1[j]
        thisurl=thisurl.replace("amp;","")
        file="F:/weixin/第"+str(i)+"页第"+str(j)+"篇文章.html"
        thisdata=use_proxy(proxy,thisurl)
        try:
            fh=open(file,"wb")
            fh.write(thisdata)
            fh.close()
            print("第"+str(i)+"页第"+str(j)+"篇文章成功")
        except Exception as e:
            print(e)
            print("第"+str(i)+"页第"+str(j)+"篇文章失败")