【小白慎入】还在手动撸浏览器？教你一招分分钟自动化操作浏览器（Python进阶）_python 自动化浏览器

2401_84138803

已于 2024-05-01 03:24:10 修改

阅读量1.2k

点赞数 15

分类专栏：程序员文章标签：自动化 python 运维

于 2024-05-01 03:24:08 首次发布

本文链接：https://blog.csdn.net/2401_84138803/article/details/138362568

版权

程序员专栏收录该内容

147 篇文章 0 订阅

订阅专栏

- 2.0 基本参数
3 进阶使用
4 数据提取
5 获取属性
6 登录案例
7 综合案例

Puppeteer 是 Google 基于 Node.js 开发的一个工具，而 Pyppeteer 又是什么呢？它实际上是Puppeteer 的 Python 版本的实现，但它不是Google 开发的，是一位来自于日本的工程师依据Puppeteer 的一些功能开发出来的非官方版本。
在 Pyppetter 中，实际上它背后也是有一个类似 Chrome 浏览器的 Chromium 浏览器在执行一些动作进行网页渲染，首先说下 Chrome 浏览器和 Chromium 浏览器的渊源。
在这里插入图片描述
总的来说，两款浏览器的内核是一样的，实现方式也是一样的，可以认为是开发版和正式版的区别，功能上基本是没有太大区别的。

环境安装

pip install pyppeteer

注意：支持异步需要3.5以上的解释器

import pyppeteer
print(pyppeteer.__chromium_revision__) # 查看版本号
print(pyppeteer.executablePath()) # 查看 Chromium 存放路径
# pyppeteer-install 帮助你去安装谷歌

如果无法启动，需要手动改文件路径
官方网站：https://miyakogi.github.io/pyppeteer/reference.html
在这里插入图片描述

1 测试样例

from pyppeteer import launch
import asyncio
import time
async def main():
# 启动一个浏览器
browser = await launch(headless=False,args=['--disable-infobars','--windowsize=1920,1080'])
# 创建一个页面
page = await browser.newPage()
# 跳转到百度
await page.goto("http://www.baidu.com/")
# 输入要查询的关键字，type 第一个参数是元素的selector，第二个是要输入的关键字
await page.type('#kw','pyppeteer')
# 点击提交按钮 click 通过selector点击指定的元素
await page.click('#su')
time.sleep(3)
await browser.close()
asyncio.get_event_loop().run_until_complete(main())

2 基本配置

2.0 基本参数

params={
# 关闭无头浏览器
"headless": False,
'dumpio':'True', # 防止浏览器卡住
r'userDataDir':'./cache-data', # 用户文件地址
"args": [
'--disable-infobars', # 关闭自动化提示框
'--window-size=1920,1080', # 窗口大小
'--log-level=30', # 日志保存等级， 建议设置越小越好，要不然生成的日志占用的空间会
很大 30为warning级别
'--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
'--no-sandbox', # 关闭沙盒模式
'--start-maximized', # 窗口最大化模式
'--proxy-server=http://localhost:1080' # 代理
],
}

2.1 设置窗口

# UI模式 频闭警告
browser = await launch(headless=False, args=['--disable-infobars'])
page = await browser.newPage()
await page.setViewport({'width': 1200, 'height': 800})

2.2 添加头部

await page.setUserAgent("Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML,
like Gecko) Chrome/19.0.1084.36 Safari/536.5")

2.3 网页截图

page.screenshot(path='example.png')

2.4 伪装浏览器绕过检测

Object.defineProperty() 方法会直接在一个对象上定义一个新属性，或者修改一个对象的现有属性，并
返回此对象。
# 伪装
await page.evaluateOnNewDocument('() =>{ Object.defineProperties(navigator,'
'{ webdriver:{ get: () => false } })}')
await page.goto('https://intoli.com/blog/not-possible-to-block-chromeheadless/chrome-headless-test.html')

2.5案例演示触发JS

async def run():
browser = await launch()
page = await browser.newPage()
await page.setViewport({'width': 1200, 'height': 800})
await page.goto('https://www.zhipin.com/job_detail/?
query=%E8%85%BE%E8%AE%AF%E7%88%AC%E8%99%AB&city=101020100&industry=&position=')
dimensions = await page.evaluate('''() => {
return {
cookie: window.document.cookie,
}
}''')
print(dimensions,type(dimensions))
asyncio.get_event_loop().run_until_complete(run())

2.6 boss直聘cookie反爬绕过实践

import asyncio,requests
from pyppeteer import launch
async def run():
browser = await launch()
page = await browser.newPage()
await page.setUserAgent("Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5
(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5")
await page.setViewport(viewport={'width': 1536, 'height': 768})
await page.evaluateOnNewDocument('() =>{ Object.defineProperties(navigator,'
'{ webdriver:{ get: () => false } }) }')
await page.goto('https://www.zhipin.com/job_detail/?
query=%E8%85%BE%E8%AE%AF%E7%88%AC%E8%99%AB&city=101020100&industry=&position=')
dimensions = await page.evaluate('''() => {
return {
cookie: window.document.cookie,
}
}''')
headets = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36',
'cookie': dimensions.get('cookie')
}
res = requests.get(
'https://www.zhipin.com/job_detail/?
query=%E8%85%BE%E8%AE%AF%E7%88%AC%E8%99%AB&city=101020100&industry=&position=',
headers=headets)
print(res.text)

注：boss主要是cookie token反爬还有IP监测

2. 7滚动到页面底部

await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')

接下来看看它的参数简介：

ignoreHTTPSErrors (bool)：是否要忽略 HTTPS 的错误，默认是 False。
headless (bool)：是否启用 Headless 模式，即无界面模式，如果devtools 这个参数是 True 的话，那么该参数就会被设置为 False，否则为 True，即默认是开启无界面模式的。
executablePath (str)：可执行文件的路径，如果指定之后就不需要使用默认的 Chromium 了，可以指定为已有的 Chrome 或 Chromium。
slowMo (int|float)：通过传入指定的时间，可以减缓 Pyppeteer 的一些模拟操作。
args (List[str])：在执行过程中可以传入的额外参数。
ignoreDefaultArgs (bool)：不使用 Pyppeteer 的默认参数，如果使用了这个参数，那么最好通过 args 参数来设定一些参数，否则可能会出现一些意想不到的问题。这个参数相对比较危险，慎用。
handleSIGINT (bool)：是否响应 SIGINT 信号，也就是可以使用 Ctrl + C 来终止浏览器程序，默认是 True。
handleSIGTERM (bool)：是否响应 SIGTERM 信号，一般是 kill 命令，默认是 True。
handleSIGHUP (bool)：是否响应 SIGHUP 信号，即挂起信号，比如终端退出操作，默认是 True。
dumpio (bool)：是否将 Pyppeteer 的输出内容传给 process.stdout 和 process.stderr 对象，默认是 False。
userDataDir (str)：即用户数据文件夹，即可以保留一些个性化配置和操作记录。
env (dict)：环境变量，可以通过字典形式传入。
devtools (bool)：是否为每一个页面自动开启调试工具，默认是 False。如果这个参数设置为True，那么 headless 参数就会无效，会被强制设置为 False。
logLevel (int|str)：日志级别，默认和 root logger 对象的级别相同。
autoClose (bool)：当一些命令执行完之后，是否自动关闭浏览器，默认是 True。
loop (asyncio.AbstractEventLoop)：事件循环对象。
3 进阶使用

import asyncio
from pyppeteer import launch
from pyquery import PyQuery as pq
async def main():
browser = await launch(headless=False) # 打开浏览器
page = await browser.newPage() # 开启选项卡
# 输入地址访问页面
await page.goto('https://careers.tencent.com/search.html?keyword=python')
# 调用选折器
await page.waitForXPath('//div[@class="recruit-wrap recruit-margin"]/div')
# 获取网页源代码
doc = pq(await page.content())
# 提取数据
title = [item.text() for item in doc('.recruit-title').items()]
print('title:', title)
# 关闭浏览器
await browser.close()
# 启动异步方法
asyncio.get_event_loop().run_until_complete(main())

4 数据提取

# 在页面内执行 document.querySelector。如果没有元素匹配指定选择器，返回值是 None
J = querySelector
# 在页面内执行 document.querySelector，然后把匹配到的元素作为第一个参数传给 pageFunction
Jeval = querySelectorEval
### 一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)



### 二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、入门学习视频



我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

2401_84138803

关注

15
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
【小白慎入】还在手动撸浏览器？教你一招分分钟自动化操作浏览器（Python进阶）_python 自动化浏览器

Puppeteer 是 Google 基于 Node.js 开发的一个工具，而 Pyppeteer 又是什么呢？它实际上是Puppeteer 的 Python 版本的实现，但它不是Google 开发的，是一位来自于日本的工程师依据Puppeteer 的一些功能开发出来的非官方版本。在 Pyppetter 中，实际上它背后也是有一个类似 Chrome 浏览器的 Chromium 浏览器在执行一些动作进行网页渲染，首先说下 Chrome 浏览器和 Chromium 浏览器的渊源。
复制链接

扫一扫