Pyppeteer+Python爬取京东商品详情demo

前言:近期总有刚接触Pyppeteer的同学提问,今日得闲索性写个demo,供大家参考。

安装Pyppeteer环节省略,自行查阅相关文档。

下述代码业务场景:用户输入关键字,脚本采集并存储与该关键字相应所有商品的SKU、标题、价格、店铺名、评论数、优惠活动、链接。


备注:未采集评论详情,本脚本已经拿到SKU再想拿评论详情不要太简单,我就不写了。(提供有偿服务)

代码块:

# coding:'utf-8'
import asyncio
import tkinter
import random
import pymysql
from pyppeteer import launch
from bs4 import BeautifulSoup


def screen_size():
    tk = tkinter.Tk()
    width = tk.winfo_screenwidth()
    height = tk.winfo_screenheight()
    tk.quit()
    return width, height


async def awaiting(page):
    for i in range(6):
        await asyncio.sleep(1)
        await page.evaluate('window.scrollBy(2000, window.innerHeight)')
    return None


async def openPage(url, keyword):
    browser = await launch({
            "head
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值