scrapy-playwright scrapy 集成无头浏览器的插件，同时我们也可以集成browserless 这类的服务
scrapy-playwright 插件文档以及提供的能力还是比较全的

说明

对于基于scrapy 进行数据处理，同时需要一些其他功能的（比如登陆，渲染的）是一个不错的选择，后边试用体验下
当然如果基于browserless browserless 也提供了直接获取content 的能力，直接可以通过api 也是一个不错的选择，可以参考
browserless 的一篇博客介绍

参考资料

 https://github.com/scrapy-plugins/scrapy-playwright 

 https://github.com/microsoft/playwright-python 

 https://github.com/scrapy/scrapy 

 https://www.browserless.io/blog/scrapy-headless