qq_62456857的博客

最近找到一个公众号（WxPusher消息推送平台），提供了api接口和开发文档，可以借助python程序实现每日的消息推送，通过发送post请求，用户只需要扫描二维码就能，实现推送的功能，并且支持群发。这里附上WxPusher的官方开发文档，上面有详细操作，有兴趣的小伙伴可以尝试，创作不易，希望大家多多支持。这里将每日的天气和一些文案信息爬取出来整合成字符串作为信息加入到待推送的信息中。1、将要爬取的天气等信息整理成字符并封装成函数作为返回值返回，方便后面调用。

多线程在爬取时能够有效提高爬取效率，但是由于多线程爬取时线程是并发执行的，每个线程的执行顺序是不确定的，导致爬取的数据顺序也是混乱的，这里可以先将要爬取的网页地址加入队列中，爬取时再一个个取出来（队列具有先进先出的特点，所以可以保证网页地址取出时是按照章节顺序来的），并且设定一个标志位，通过标志位判断是否当前线程已经爬取的内容是否是按照顺序爬取的，是就写入缓存，不是就阻塞该线程。在使用多线程爬取时，先进行爬取，再判断是否按照顺序写入，不是就阻塞（爬取耗时远超过写入缓存）。