python爬虫——爬取微信文章

最近几天看了会儿《精通python网络爬虫》，觉得这本书写的比较好，不仅仅因为这本书中的代码都是用python3编写的。这本书条例很清晰，代码全面，里面讲解的很详细，提到了实战过程中会遇到的坑以及相应的解决办法，所以非常适合新手入门。另外，这本书语言上也比较平实，代码、图、文字描述等，使得读起来和实战是没有障碍的。

下面是按照书中的内容，写的一个微信文章的小爬虫，仅作为学习记录。另外，提醒读者不要恶意爬人家网站，导致爬取网站的网络负载增加。

#%%
'''
使用方法：
1.设置要搜索的关键词 key
2.使用函数get_link_list()获取相应的链接，设置好pagestart,pageend
3.使用get_content()获取相应的文章并保存到本地
'''
#%%
'''
函数use_proxy():爬取单个网页,默认不使用代理服务器
参数说明:
proxy_addr : 传入的代理服务器地址
url : 爬取的网页
timeout : 网络最长允许延时时间

函数get_link_list():获取页面中所有文章的链接
参数说明:
key : 关键词,输入字符串，中/英文
pagestart : 爬取的文章开始页
pageend : 爬取的文章结束页
proxy : 代理IP，默认不使用代理服务器

函数get_content():将对应的微信链接中的所有文章取出来，写成html形式,写入filepath下
参数说明:
listurl : 是由get_link_list()函数得到的链接列表
filepat