学习使用大数据数据采集工具（python）

                                              大数据采集工具

1、神箭手云爬虫

官网：https://www.shenjian.io/

简介：神箭手云是一个大数据应用开发平台，为开发者提供成套的数据采集、数据分析和机器学习开发工具，为企业提供专业化的数据抓取、数据实时监控和数据分析服务。 

优点：功能强大，涉及云爬虫、API、机器学习、数据清洗、数据出售、数据订制和私有化部署等；

         纯云端运行，跨系统操作无压力，隐私保护，可隐藏用户IP。

         提供云爬虫市场，零基础使用者可直接调用开发好的爬虫，开发者基于官方的云端开发环境开发并上传出售自己的爬虫程序；         

         领先的反爬技术，例如直接接入代理IP和自动登录验证码识别等，全程自动化无需人工参与； 

         丰富的发布接口，采集结果以丰富表格化形式展现； 

缺点：它的优点同时也在一定程度上成了它的缺点，因为它是一个面向开发者的爬虫开发系统，提供了丰富的开发功能，网站看起来非常的偏技术非常专业，尽管官方也提供了云爬虫市场这样的现成爬虫产品，并且开放给广大爬虫开发者，从而让爬虫市场的内容更加丰富，但是对于零技术基础的用户而言并不是那么容易理解，所以有一定的使用门槛。

是否免费：免费用户无采集功能和导出限制，无需积