Chromewhip:将Google Chrome™作为Web服务运行
项目介绍
Chromewhip 是一个易于部署的服务,它将无头Chrome浏览器封装在一个HTTP API中。该项目灵感来源于 splash
项目,旨在提供一个与 splash
服务兼容的替代方案。Chromewhip目前处于早期 alpha 阶段,仍在积极开发中。项目的主要目标是实现 splash
的整个API,以便用户可以无缝切换使用。
项目技术分析
Chromewhip 的核心技术基于 Google Chrome 的 DevTools 协议,通过异步HTTP服务将Chrome浏览器作为Web服务运行。项目使用了 Python 3.6 的 asyncio
和 aiohttp
库来实现异步HTTP服务器,并开发了一个与 Chrome DevTools 协议兼容的低级驱动程序。该驱动程序通过模板生成提供了类型化的Python绑定,使得开发者可以在代码编辑器中获得自动补全功能。
项目及技术应用场景
Chromewhip 适用于需要将浏览器功能集成到Web服务中的场景,例如:
- 网页截图服务:通过
/render.png
API 快速生成网页截图。 - 网页内容抓取:使用
/render.html
API 获取网页的HTML内容,适用于网页抓取和数据采集。 - 自动化测试:结合低级驱动程序,可以实现更细粒度的浏览器控制,适用于自动化测试和网页交互模拟。
项目特点
- 兼容性:Chromewhip 提供了与
splash
兼容的HTTP API,用户可以无缝切换使用。 - 异步驱动:基于
asyncio
和aiohttp
实现的高性能异步HTTP服务,能够处理高并发的请求。 - 类型化绑定:通过模板生成提供了类型化的Python绑定,开发者可以在代码编辑器中获得自动补全功能,提高开发效率。
- 灵活性:使用 Chrome DevTools 协议,相比 Selenium 提供了更高的灵活性和更细粒度的浏览器控制。
如何使用
作为服务部署
只需通过Docker容器部署,即可在本地端口 8080
上使用API:
docker run --init -it --rm --shm-size=1024m -p=127.0.0.1:8080:8080 --cap-add=SYS_ADMIN \
chuckus/chromewhip
使用低级驱动程序
开发者可以直接使用 Chromewhip 提供的低级驱动程序,通过 Chrome DevTools 协议与浏览器进行交互。以下是一个简单的示例代码:
import asyncio
import logging
from chromewhip import Chrome
from chromewhip.protocol import browser, page, dom
logging.basicConfig(level=logging.DEBUG)
HOST = '127.0.0.1'
PORT = 9222
loop = asyncio.get_event_loop()
c = Chrome(host=HOST, port=PORT)
loop.run_until_complete(c.connect())
tab = c.tabs[0]
tab = loop.run_until_complete(c.create_tab())
loop.run_until_complete(tab.enable_page_events())
def sync_cmd(*args, **kwargs):
return loop.run_until_complete(tab.send_command(*args, **kwargs))
result = sync_cmd(page.Page.navigate(url='http://nzherald.co.nz'),
await_on_event_type=page.FrameStoppedLoadingEvent)
ack = result['ack']['result']
event = result['event']
assert ack['frameId'] == event.frameId
sync_cmd(page.Page.setDeviceMetricsOverride(width=800,
height=600,
deviceScaleFactor=0.0,
mobile=False))
result = sync_cmd(dom.DOM.getDocument())
dom_obj = result['ack']['result']['root']
assert isinstance(dom_obj, dom.Node)
print(dom_obj.nodeId)
print(dom_obj.nodeName)
loop.run_until_complete(c.close_tab(tab))
总结
Chromewhip 是一个功能强大且易于部署的Web服务,它将Google Chrome浏览器作为服务运行,提供了与 splash
兼容的API,并支持通过低级驱动程序进行细粒度的浏览器控制。无论是网页截图、内容抓取还是自动化测试,Chromewhip 都能提供高效且灵活的解决方案。如果你正在寻找一个能够将浏览器功能集成到Web服务中的工具,Chromewhip 绝对值得一试!