通过“Robots <META> tag”防止搜索引擎收录网页后门

最新推荐文章于 2018-02-15 11:47:00 发布
最新推荐文章于 2018-02-15 11:47:00 发布
阅读量539 收藏
点赞数
分类专栏： web hacking
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eT48_sec/article/details/43201565
版权

这是我这b374k.php上看到的。

我们通过“Robots <META> tag”来告诉搜索引擎spider不要索引页面的内容以及不扫描页面中的链接。这样他人就不能通过搜索关键字的方式找到我们的网页后门了。

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

还可以再加一个“noarchive”属性防止搜索引擎保存网页的快照。 


<meta name='robots' content='noindex, nofollow, noarchive'>

参考：http://www.robotstxt.org/meta.html

           http://www.williamlong.info/archives/818.html

eT48_Sec
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Robots 元标签与 X-Robots 标签
SEOjiaoxue的博客
11-25 1450
机器人元标记是一个 HTML 标签，它提供信息来查看电机爬虫和其他网络机器人几乎如何记录和显示网页。它设置在 HTML 页面的段中，可用于控制外观电机爬虫的行为。标签包括两个性质：“标题”和“实质”。“title”质量表示指令的类型，“substance”属性表示对该指令的尊重。“index”：此指令允许 Look Motor 爬虫记录页面并将其显示在 Look 结果中。“index”：此指令告诉 Look Motor 爬虫不要填充页面，并且它不会出现在 Look 结果中。
Robots Meta Tag的使用
程序人生
10-07 1693
Robots Meta Tag的使用 Robots META tag用于告诉一个Web Robot某一个网页可否被索引以及可否跟踪其页上的链接。该标记元已占据愈来愈重要的位置。而且，它也应用于没有对服务器顶级目录下的robots.txt文件的控制权限，有些搜索引擎现今已完全遵循Robots Meta Tag，如Inktomi. Robots Meta Tag的格式： The Robots
机器人meta标签和X-Robots-Tag HTTP标头规格
weixin_33724659的博客
02-15 456
抽象 本文档详细介绍了页级索引设置如何让您控制Google如何通过搜索结果提供内容。您可以通过在（X）HTML页面或HTTP标头中包含元标记来指定这些标记。 笔记 请注意，只有当抓取工具被允许访问包含这些设置的页面时，才可以阅读和遵守这些设置。 该&lt;meta name="robots" content="noindex" /&gt;标签或指令适用于搜索引擎爬虫。要拦截非搜索抓取工具（例如A...
Http响应X-Powered-By, X-Robots-Tag,X-Frame-Options
weixin_33854644的博客
11-07 930
2019独角兽企业重金招聘Python工程师标准>>> ...
Meta 标签使用详解
钰琳仙境
01-23 355
meta是html语言head区的一个辅助性标签。几乎所有的网页里，我们可以看到类似下面这段的html代码：   &lt;head&gt;&lt;meta http-equiv="content-Type" content="text/html; charset=gb2312"&gt;&lt;/head&gt;   　　也许你认为这些代码可有可无。其实如果你能够用好meta标签，会给你带来意想不到...
robots.txt及其 Meta标签在SEO中的作用、如何提交网站地图（转）
yaven的专栏
01-04 497
转自：http://hi.baidu.com/wzk717/blog/item/ab854ddfb8350a19495403d8.html1、robots.txt是什么？      robots.txt是一个纯文本文件，用来告诉网络蜘蛛（不仅限搜索引擎蜘蛛）本站中哪些位置允许抓取，哪些位置不允许抓取。 2、如何正确放置robots.txt？ 首先，robots.txt文件必须放置在网站根目录；有域...
JSP标签 <meta>的作用
05-24
通过 `<meta name="Robots" content="...">` 可以控制搜索引擎机器人对页面的抓取行为，例如设置为 `noindex` 或 `nofollow` 来阻止搜索引擎收录该页面或者不跟随页面上的链接。 ### 小结 `<meta>` 标签虽然看似...
HTML中的<meta>标签的使用详解
09-28
HTML中的`<meta>`标签是网页元数据的重要组成部分，它提供了关于HTML文档的额外信息，这些信息不直接显示在页面上，但对浏览器、搜索引擎和其他Web服务至关重要。本文将深入探讨`<meta>`标签的使用及其重要性。 ...
如何禁止网站内容被搜索引擎收录的几种方法讲解
01-20
通常做网站的目标就是让搜索引擎收录，扩大推广面，但是如果你的网站涉及个人隐私或者机密性非公开的网页而需要禁止搜索引擎收录抓取的话，该如何操作呢？比如淘宝网就是禁止搜索引擎收录的一个例子，本文将教你几种...
HTML <meta> 标签 和 http-equiv
oscar999的专栏
12-19 1万+
前言经常在写HTML，但是对于meta 的设置却一直疏于关注。 是什么 是一个HTML的标签(辅助性标签)。它的位置位于文档的头部  标签之中。 可以做什么？看上去是否设置meta 对html 页面的内容的显示没什么影响。但是，正确的设置meta 可以实现的效果有：1. 控制页面缓冲2. 自动刷新并指向新的页面3. SEO 搜索引擎优化4.定义页面使用的语言5. 实现网页转换时的动态效果6. 网
禁止搜索引擎收录的方法
Just Code
10-23 2762
1. 什么是robots.txt文件? 搜索引擎使用spider程序自动访问互联网上的网页并 获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。 ...
屏蔽百度等所有搜索引擎蜘蛛方法加meta标签
企业级技术与网站app运营
05-17 5954
大多数情况下，我们都会使用robots.txt文件对搜索引擎蜘蛛的抓取行为进行限制，这是一种非常规范的做法。除此之外，我们还可以通过网页头部的META标签禁止搜索引擎抓取，这种方法的优点是只针对当前网页，操作起来比较灵活。只是针对百度搜索，不知道管用不，记录下来，试试   具体的代码非常简单，只需要在你的网页和之间插入一句：     其中的属性值可以按照要求从下面四选一：
禁止搜索引擎收录网站内容的几种方法
热门推荐
№快乐因你♂
09-07 1万+
第一种、robots.txt方法 搜索引擎默认的遵守robots.txt协议，创建robots.txt文本文件放至网站根目录下，编辑代码如下: User-agent: * Disallow: / 通过以上代码，即可告诉搜索引擎不要抓取采取收录本网站，注意慎用如上代码：这将禁止所有搜索引擎访问网站的任何部分。 如何只禁止百度搜索引擎收录抓取网页 1、编辑robots.txt文件，设计标记
MYSQL-手工SQL注入绕过技巧-实战篇
eT48_Sec
12-24 5942
之前遇到一个站点，经检测存在SQL注入，但是有WAF存在，后来知道是绿盟的WEB应用防火墙。 后来在社区看到了一篇关于《sql注入绕过技巧》的文章后（原文：http://zone.wooyun.org/content/16772），回过头来重新进行手工，这次总算干掉了WAF。以下是自己对于本次渗透的一些学习笔记，包含一些绕过waf的技巧。 首先判断注入点 id=161-(select
MYSQL注入绕过技巧
eT48_Sec
12-23 5482
/lingdao.php?id=161.0ORDER BY%2B9 /lingdao.php?id=4.990Union(select-1.0,2,3,4,5,6,7,@@version) Article/show/id/4.0Union(select-0.1,2,USER,password,5,6,7,8,9,10,11,12,13.0FROM mysql%252euser)
通过UA判断客户端的操作系统类型
eT48_Sec
01-03 2609
我们可以通过一个javascript脚本获取客户端返回的User-Agent，然后根据其中的信息判断客户端使用什么操作系统。 Windows系列 Windows NT 俗称 NT 5.0 Windows 2000 NT 5.1 Windows XP NT 5.2 Windows XP Windows 2003 NT6.0
PHP小马
eT48_Sec
01-04 1905
http://xiaojianke.blog.163.com是我原来的博客，工作后换成了C博客，这里吐槽一下网易博客太差了。 看到网上那么多PHP小马，我也来自己写一个，练习PHP编程。 <?php error_reporting(E_ERROR); header('Content-Type:text/html; charset=utf-8'); $path=getcwd(); $pe
使用sqlmap 代替access 注入中转
eT48_Sec
03-14 1609
背景：测试站点是ASP的程序，经测试 shownews.asp?id=61存在注入 GET方法 shownews.asp?id=61 and 4>1 返回警告 改成POST方法，仍然出现警告 最后，测试cookie注入，如下图，在控制台提交document.cookie="id="+escape("61 and 4>1")，新增cookie项id，然后再次访问shownews.asp
HTML网页布局基础与<meta>标签应用解析
另外，`<meta>`标签还有其他用途，比如`name="robots"`可以控制搜索引擎爬虫的行为，避免某些页面被索引。`http-equiv="Pragma"`和`http-equiv="Cache-Control"`可以控制页面的缓存策略。 理解并熟练运用这些HTML...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值