Portia --基于Scrapy的可视化数据采集框架
走近代码之Python--爬虫框架Scrapy
1框架特性
基于 scrapy 内核
可视化爬取内容,不需要任何开发专业知识
动态匹配相同模板的内容
2安装
Windows 推荐使用 Docker 安装
安装 Docker ToolBox
启动 docker run -v /F/pywp/portia:/app/data/projects:rw -p 9001:9001 scrapinghub/portia:portia-2.0.7
/F/pywp/portia 是 protia 项目的路径,如果没有项目,可以随便输入一个绝对路径,docker 会自动创建
在浏览器中输入地址 http://192.168.99.100:9001
192.168.99.100 是 C:\Users\[UserName]\.docker\machine\machines\default\config.json 文件中配置的Driver.IPAddress
3可能遇到的问题
Docker 下载安装镜像的过程可能会很慢,可以使用代理,或者使用国内的 DaoCloud 镜像市场。
根据文档描述,在绑定了 9001 端口以后,可以使用地址 localhost:9001 访问,但是在windows 系统下却显示链接无法访问。
原因是:Docker 是运行在 Linux 上的,在 Windows 中运行 docker,实际上还是在 Windows 下先安装了一个 Linux 环境,然后在这个系统中运行的 docker。也就是说,服务中使用的 localhost 指的是这个 Linux 环境的地址,而不是我们的宿主环境 Windows,所以必须使用 Windows 分配给虚拟的 Linux 环境的 ip:port 192.168.99.100:9001 访问。
Demo
官方 portia管理平台: https://portia.scrapinghub.com/
爬取数据的工作流程主要分为两步,完全没有编程知识的人都可以操作:
1 Follow Links
2 Extracts data:
3 可以在右侧看到当前页面所有提取的数据:
运行爬虫
1:Portia 提供导出为 Scrapy 的功能,导出以后,可以使用 Scrapy 来运行爬虫
2: 可以使用 Portia 的命令 portiacrawl project_path spider_name -o output.json 来运行
3: 在 ScrapingHub 点击运行,可以在 web 页面上可视化的查看结果,导出数据
架构
slyd:为创建爬虫工程提供可视化的编辑器
slybot:真正可视化和爬取的核心Scrapy:基于 Scrapy 爬虫框架实现,其中使用了 scrapy-splash 第三方中间件来提供JS渲染服务。
Splash:是一个 Javascript 渲染服务。它是一个实现了 HTTP API 的轻量级浏览器,Splash 是用 Python 实现的,同时使用 Twisted 和 QT。Twisted(QT)用来让服务具有异步处理能力,以发挥webkit的并发能力。
Scrapely :是从HTML页面提取结构化数据的库。
源码分析
Portia 的爬虫核心就是使用了 scrapy,源码分析可以参考
走近代码之Python--爬虫框架Scrapy
4部署Portia 只能可视化的创建一个 scrapy 爬虫,并不能在网页可视化的部署运行。如果需要 web 端可视化管理爬虫有两种方法
需要 Scrapinghub 的 Scrapy Cloud,深度使用需要收费。
或者使用 scrapyd 和 scrapyd-client 来部署和管理 scrapy 爬虫.
查看 jobs:
5框架总结
Portia 只是一个可视化编辑爬取规则编辑器,最终创建出来的是一个 scrapy 爬虫项目。如果想要对爬虫进行部署,管理,还是需要学习 scrapy 相关知识。
只能爬取扁平化、结构单一的网站,对于爬取层次较深的网站比较难编写爬取规则。
因为可以匹配相同结构的模板,所以擅长爬取列表页的数据
Docker 在 Windows 上部署比较麻烦,推荐在 Linux 环境下部署 Portia。
走近代码之Python--爬虫框架Scrapy
1框架特性
基于 scrapy 内核
可视化爬取内容,不需要任何开发专业知识
动态匹配相同模板的内容
2安装
Windows 推荐使用 Docker 安装
安装 Docker ToolBox
启动 docker run -v /F/pywp/portia:/app/data/projects:rw -p 9001:9001 scrapinghub/portia:portia-2.0.7
/F/pywp/portia 是 protia 项目的路径,如果没有项目,可以随便输入一个绝对路径,docker 会自动创建
在浏览器中输入地址 http://192.168.99.100:9001
192.168.99.100 是 C:\Users\[UserName]\.docker\machine\machines\default\config.json 文件中配置的Driver.IPAddress
3可能遇到的问题
Docker 下载安装镜像的过程可能会很慢,可以使用代理,或者使用国内的 DaoCloud 镜像市场。
根据文档描述,在绑定了 9001 端口以后,可以使用地址 localhost:9001 访问,但是在windows 系统下却显示链接无法访问。
原因是:Docker 是运行在 Linux 上的,在 Windows 中运行 docker,实际上还是在 Windows 下先安装了一个 Linux 环境,然后在这个系统中运行的 docker。也就是说,服务中使用的 localhost 指的是这个 Linux 环境的地址,而不是我们的宿主环境 Windows,所以必须使用 Windows 分配给虚拟的 Linux 环境的 ip:port 192.168.99.100:9001 访问。
Demo
官方 portia管理平台: https://portia.scrapinghub.com/
爬取数据的工作流程主要分为两步,完全没有编程知识的人都可以操作:
1 Follow Links
2 Extracts data:
3 可以在右侧看到当前页面所有提取的数据:
运行爬虫
1:Portia 提供导出为 Scrapy 的功能,导出以后,可以使用 Scrapy 来运行爬虫
2: 可以使用 Portia 的命令 portiacrawl project_path spider_name -o output.json 来运行
3: 在 ScrapingHub 点击运行,可以在 web 页面上可视化的查看结果,导出数据
架构
slyd:为创建爬虫工程提供可视化的编辑器
slybot:真正可视化和爬取的核心Scrapy:基于 Scrapy 爬虫框架实现,其中使用了 scrapy-splash 第三方中间件来提供JS渲染服务。
Splash:是一个 Javascript 渲染服务。它是一个实现了 HTTP API 的轻量级浏览器,Splash 是用 Python 实现的,同时使用 Twisted 和 QT。Twisted(QT)用来让服务具有异步处理能力,以发挥webkit的并发能力。
Scrapely :是从HTML页面提取结构化数据的库。
源码分析
Portia 的爬虫核心就是使用了 scrapy,源码分析可以参考
走近代码之Python--爬虫框架Scrapy
4部署Portia 只能可视化的创建一个 scrapy 爬虫,并不能在网页可视化的部署运行。如果需要 web 端可视化管理爬虫有两种方法
需要 Scrapinghub 的 Scrapy Cloud,深度使用需要收费。
或者使用 scrapyd 和 scrapyd-client 来部署和管理 scrapy 爬虫.
查看 jobs:
5框架总结
Portia 只是一个可视化编辑爬取规则编辑器,最终创建出来的是一个 scrapy 爬虫项目。如果想要对爬虫进行部署,管理,还是需要学习 scrapy 相关知识。
只能爬取扁平化、结构单一的网站,对于爬取层次较深的网站比较难编写爬取规则。
因为可以匹配相同结构的模板,所以擅长爬取列表页的数据
Docker 在 Windows 上部署比较麻烦,推荐在 Linux 环境下部署 Portia。