Msray,是一款使用GO语言研发的企业级新一代多功能信息采集软件。具有高效率、低占用、功能强大、定制灵活、上手简单、支持webhook等特点。
主要运用于全网域名/URL网址/IP信息检索、联系方式信息采集、指定关键词批量数据采集、网络推广与分析、内容源收集,以及为各种大数据分析等提供数据支撑。
提供WEB管理后台对软件进行相关操作,无需使用复杂的命令,功能强大且简单易上手!
在线文档:http://www.msray.net/doc
二、任务引擎功能介绍
1:搜索引擎任务
基于任务配置,并发用多个搜索引擎(可分别自定义每个引擎的线程数,已经自定义开启的引擎),批量采集指定关键词的搜索结果。同时支持国内与国外主流引擎,包括但不限于百度、必应、谷歌、神马、yandex、duckduckgo等;
支持存储的信息:域名、根网址、详细页面的URL、标题、描述、IP、服务器所属国家、来源搜索引擎、来源关键词等;
同时支持自定义无限采集(自动从搜索引擎抓取相关搜索词、自动从采集结果网页中抓取keyword等实现);
支持重复关键词采集判断,系统可识别已经采集过的关键词。
2:系统爬虫引擎任务
可自定义线程,高并发的从全网爬行抓取URL/域名等信息。支持存储的信息:域名、根网址、详细页面的URL、标题、描述、IP、服务器所属国家等;