一款超好用的企业级URL采集软件(Msray-plus)

Msray，是一款使用GO语言研发的企业级新一代多功能信息采集软件。具有高效率、低占用、功能强大、定制灵活、上手简单、支持webhook等特点。

主要运用于全网域名/URL网址/IP信息检索、联系方式信息采集、指定关键词批量数据采集、网络推广与分析、内容源收集，以及为各种大数据分析等提供数据支撑。

提供WEB管理后台对软件进行相关操作，无需使用复杂的命令，功能强大且简单易上手!

在线文档：http://www.msray.net/doc

二、任务引擎功能介绍

1：搜索引擎任务

基于任务配置，并发用多个搜索引擎(可分别自定义每个引擎的线程数，已经自定义开启的引擎)，批量采集指定关键词的搜索结果。同时支持国内与国外主流引擎，包括但不限于百度、必应、谷歌、神马、yandex、duckduckgo等；

支持存储的信息：域名、根网址、详细页面的URL、标题、描述、IP、服务器所属国家、来源搜索引擎、来源关键词等；

同时支持自定义无限采集（自动从搜索引擎抓取相关搜索词、自动从采集结果网页中抓取keyword等实现）；

支持重复关键词采集判断，系统可识别已经采集过的关键词。

2：系统爬虫引擎任务

可自定义线程，高并发的从全网爬行抓取URL/域名等信息。支持存储的信息：域名、根网址、详细页面的URL、标题、描述、IP、服务器所属国家等；

3： 联系信息抓取