前言:近期总有刚接触Pyppeteer的同学提问,今日得闲索性写个demo,供大家参考。
安装Pyppeteer环节省略,自行查阅相关文档。
下述代码业务场景:用户输入关键字,脚本采集并存储与该关键字相应所有商品的SKU、标题、价格、店铺名、评论数、优惠活动、链接。
备注:未采集评论详情,本脚本已经拿到SKU再想拿评论详情不要太简单,我就不写了。(提供有偿服务)
代码块:
# coding:'utf-8'
import asyncio
import tkinter
import random
import pymysql
from pyppeteer import launch
from bs4 import BeautifulSoup
def screen_size():
tk = tkinter.Tk()
width = tk.winfo_screenwidth()
height = tk.winfo_screenheight()
tk.quit()
return width, height
async def awaiting(page):
for i in range(6):
await asyncio.sleep(1)
await page.evaluate('window.scrollBy(2000, window.innerHeight)')
return None
async def openPage(url, keyword):
browser = await launch({
"head