pyppeteer的安装及使用

pyppeteer模块是基于异步的

今天来分享一下pyppeteer的安装，这玩意儿第一次用，楞是装了两天也没有使用成功，自己也按照网上的教程按部就班也没有装上。pyppeteer优点就不说了，直接说一下自己的遇到的问题吧。
安装之前打开cmd把 websockets （pip uninstall websockets #卸载websockets）卸载掉是因为很有可能是最新版本的，不卸载后续会出问题。然后pip install websockets==6.0 #指定安装6.0版本然后（pip install pyppeteer -i http://pypi.douban.com/simple–trusted-host
pypi.douban.com），加上豆瓣的下载滤镜会快很多，接下来可以pyppeteer-install安装chromium，pyppeteer模块是依赖chromium这款谷歌测试版的浏览器的，但是我个人不建议直接pyppeteer-install安装chromiun,因为速度是真的慢而且时不时会自动断开。
建议直接下载安装包放到pyppeteer相应的路径下，下面是各系统的chromium压缩包下载地址：

‘linux’: ‘https://storage.googleapis.com/chromium-browser-snapshots/Linux_x64/575458/chrome-linux.zip’
‘mac’: ‘https://storage.googleapis.com/chromium-browser-snapshots/Mac/575458/chrome-mac.zip’
‘win32’: ‘https://storage.googleapis.com/chromium-browser-snapshots/Win/575458/chrome-win32.zip’
‘win64’: ‘https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip’
然后，将压缩包放到pyppeteer的指定目录下解压缩，windows系统的默认目录（可能你会找不到Local文件夹，因为隐藏了，直接点一下查看然后勾上隐藏的项目就可以看到了）。其他系统下的默认目录可以参照下面这幅图如果能正确安装上那就完事儿了：

把压缩包放进去后，在CMD中再次pyppeteer-install出现下面这样的话就没有问题了：

不成功的话，可能需要自己新建文件夹，依次在C:\Users\AppData\Local\pyppeteer\pyppeteer\路径下新建local-chromium文件夹然后在local-chromium里面新建575458文件夹，最后把压缩包解压放进去应该就没什么问题的了。
接下来上代码：

import asyncio
from pyppeteer import launch
async def main():
#开启一个浏览器，里面的参数{'headless':False}不写的话就会默认不跳出浏览器页面
    browser = await launch({'headless':False})
    page = await browser.newPage()
    #打开一个网址
    await page.goto('http://baidu.com')
    #截取一张图片
    await page.screenshot({'path': 'baidu.png'})
    await browser.close()
asyncio.get_event_loop().run_until_complete(main())

接下来爬取zol笑话大全的段子，上代码：

from pyppeteer import launch
import asyncio
from lxml import etree
async def gettxt():
    browser=await launch()#没有参数默认开启无头模式
    page=await browser.newPage()#新建一个网页
    await page.goto('http://xiaohua.zol.com.cn/lengxiaohua/')
    page_source=await page.content()
    return page_source
def callback(future):
    page_source=future.result()
    tree=etree.HTML(page_source)
    li_list=tree.xpath('//li[@class="article-summary"]')
    for i in li_list:
        title=i.xpath('.//span[@class="article-title"]/a/text()')
        txt=str(i.xpath('.//div[@class="summary-text"]/p/text()')).replace('\\n\\t','')
        print(title)
        print(txt)
        print('+'*50)
coroutine=gettxt()
loop=asyncio.get_event_loop()
task=asyncio.ensure_future(coroutine)
task.add_done_callback(callback)
loop.run_until_complete(task)

本文完。。。。。