Linux服务器出现爬虫的报错

问题

发现运行中的服务器总是出现类似错误

因为端口开放所以导致一直被各大搜索引擎的爬虫检索，网上没人说，唯一的办法还是关闭开放端口那肯定不行

在spring - jHipster Undertow request failed HttpServerExchange - Stack Overflow找到

It's the search crawler to get url not found,throw the error,you can write robots.txt to prohibit it on the root directory.

解决方案

在网站的根目录下添加 robots.txt

robots.txt是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络爬虫/蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被获取的。
当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围
因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。

写法注意

1. 所有字母需要用英文输入法
2. 与 * 之间需有一个英文输入法的空格
3. 与 / 之间需有一个英文输入法的空格

例子：禁止任何搜索引擎索引网站的所有部分

User-Agent: *
Disallow: /