windows python3环境下安装 pyppeteer,用于天猫淘宝数据采集
自主学习记录,如有侵权,请联系本人删除
在测试采集淘宝,天猫平台数据时,登录受到限制,使用pyppeteer可以模拟登录,但是安装pyppeteer时跳了较多的坑,最终安装成功,并成功达到数据采集目标,仅以此文记录一下安装方法。
前提:基于python3.7 python3.7 及 pip模块 已经成功安装的情况下,进行安装。
1、直接用pip模块安装pyppeteer ,语句: pip install pyppeteer;
安装成功提示如下图:
2、查看对应的浏览器插件(chromium)版本 ;
进入python3.7的安装文件夹,找到文件夹 site-packages,
在文件夹site-packages里找到pyppeteer文件夹,如下图所示进行操作,可在运行结果中找到我们应该下载的浏览器版本和对应的系统
下面是下载浏览器插件的地址,进入页面选择上面运行结果对应的系统和版本号,下载文件压缩包,解压我们下载的压缩包,得到目标文件夹(不要删减文件夹里的东西)
https://npm.taobao.org/mirrors/chromium-browser-snapshots/
解压后得到我们需要的目标文件
把文件剪切到运行结果中的目录中(AppData为隐藏文件夹,如何查看自行百度,找不到的目录自己创建)
到这里就成功安装了pyppeteer了!接下来用下面代码进行测试:
import asyncio
from pyppeteer.launcher import launch
async def main( url):
browser = await launch({
'headless': False,
'dumpio': True, # 'dumpio':True 浏览器就不会卡住了
'autoClose': False,
'executablePath': r'C:\Users\肖战得不到的女人\AppData\Local\pyppeteer\pyppeteer\chrome-win32\chrome.exe', # 浏览器的存放地址,指定路径可快速运行
'args': ['–no - sandbox', '--window-size=1500,768']
})
page = await browser.newPage() # 启动个新的浏览器页面
await page.setUserAgent(
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36')
await page.goto(url)
if __name__ == '__main__':
url = 'https://www.baidu.com/'
loop = asyncio.get_event_loop() # 协程,开启个无限循环的程序流程,把一些函数注册到事件循环上。当满足事件发生的时候,调用相应的协程函数。
m = main(url)
loop.run_until_complete(m) # 将协程注册到事件循环,并启动事件循环
成功打开浏览器,无报错!
活到老,学到老! ( •̀ ω •́ )✧
欢迎大家互相沟通交流(pyppeteer 采集淘宝,天猫平台数据,会抽空更新)