利用自定义HEADER屏蔽搜索引擎

最新推荐文章于 2023-07-19 17:35:40 发布
最新推荐文章于 2023-07-19 17:35:40 发布
阅读量1k 收藏
点赞数
分类专栏： JAVA 文章标签： 搜索引擎 header 百度 google 搜狗 blog

搜索引擎收录blog对有些人而言并非是件好事，例如我就不喜欢百度的爬虫扫我的站，带来毫无意义的访问和闲杂人等。对于使用 blogbus这样的BSP用户而言，自行定义robots.txt还没法实现，不过好在bus最近新推出了个自定义header的功能，我们可以利用meta 信息来屏蔽某些搜索引擎乃至全部

假如你想屏蔽所有搜索引擎的抓取的话，可以在自定义header里添加如下一句

<meta name="robots" content="noindex, nofollow" />

noindex 的作用是要求搜索引擎不索引你的网页，而nofollow 则是不跟随网页里出现的外部链接。例如你不希望你网页里的apple.com的链接被跟随从而间接的提高apple.com的pagerank或者说免费替它打广告，nofollow 的作用就显现了，事实上很多comment spam就是利用nofollow 以躲避搜索引擎将其网站视为作弊的处罚。

当然，如果我们只想屏蔽某些爬虫的话，只需要把meta 里的name 属性改成相应的爬虫名字，例如:

<meta name="baiduspider" content="noindex, nofollow" />

<meta name="sosospider" content="noindex, nofollow" />

<meta name="sogouspider" content="noindex, nofollow" />

这三句的话分别把百度，腾讯搜搜(实如其名，just so so)，搜狗的爬虫给屏蔽了

至于你想屏蔽更多的话，请google关键字"搜索引擎名字 robots.txt"

mtawaken
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
服务器修改referer,electron自定义header伪装ua及referer欺骗远程服务器
weixin_39900676的博客
08-03 1983
本文中，苏南大叔讲述一下electron的几个邪门使用方式。为啥说是邪门方式呢？因为正常的程序不会这么干的。那就是：修改user-agent和referer，也就是伪装客户端信息，用于欺骗特定的远程服务器网页。当然，在具体操作的时候，都是很多种欺骗方式的组合，本文中描述的手段仅仅是初级入门级别的。本文测试环境：win10/[emailprotected]/electron-quick-start...
chrome 自定义header插件
10-12
chrome浏览器扩展程序，直接拖拽可用的自定义header插件。可自定义Request headers，便于web调试。
隐藏referer
weixin_34254823的博客
09-26 352
2019独角兽企业重金招聘Python工程师标准>>> ...
java隐藏请求连接吗_如何让浏览器在访问链接时不要带上referer
weixin_32160507的博客
02-13 351
有个折中的办法// 例子， 比如index.html转向例子#example, iframe.hidden {display:none;}$().ready(function(){$("#example").show();$(document.body).on('click', 'a[rel~="hide_ref"]',function(){var url = '/redirect.html#!'...
php隐藏来路,header隐藏来路跳转方式 防止来路被跟踪Referer跳转的方法
weixin_34501374的博客
03-17 1680
通过header跳转到下级页面，下级页面是无法跟踪到来路的，Referer是隐藏状态因此对于有特殊需求，想跳转到对方网站又不想被对方跟踪到，可以使用这种方案新建个URL.PHP$url=$_GET['url'];header("location:$url");?>然后放到你网站上，访问需要隐藏来路的域名的时候使用http://你的域名/URL.PHP?url=对方网址这样对方统计到的来...
通过request.getHeader("referer")防止用户手动修改URL访问非权限页面
回家换拖鞋的专栏
11-05 5128
在开发web程序的时候，有时我们需要得到用户是从什么页面连过来的，这就用到了referer。 它是http协议，所以任何能开发web程序的语言都可以实现,比如jsp中是： request.getHeader("referer"); php是$_SERVER['HTTP_REFERER']。其他的我就不举例了（其实是不会其他的语言）。 js的话就是这样做：javascript:docum
PHP自定义函数获取搜索引擎来源关键字的方法
12-19
在本文中，我们将深入探讨如何使用PHP自定义函数来获取搜索引擎来源的关键字。这个方法对于网站分析、SEO优化以及理解用户是如何找到你的网站至关重要。以下是一个详细的解释和示例。 首先，我们需要创建一个名为`...
ajax请求添加自定义header参数代码
01-18
我就废话不多说了，大家还是直接看代码吧~ $.ajax({ type: post, ... contentType: application/json;charset=utf-8, data :JSON.stringify({bodyName:sdfsdf,date:2017-11-28 07:34:01,price: 10.5,tbId: 1}), ...
js 使用ajax设置和获取自定义header信息的方法小结
11-21
本文实例讲述了js 使用ajax设置和获取自定义header信息的方法。分享给大家供大家参考，具体如下： 1、js ajax 设置自定义header 1.1 方法一： $.ajax({ type: "POST", url: "Handler1.ashx", contentType: ...
php获取不到自定义header参数原因详解
02-24
例如，在Nginx配置中，确保`proxy_set_header`指令正确无误，并且服务器配置没有阻止自定义Header的传递。 总之，理解PHP处理HTTP头的方式以及`$_SERVER`数组的工作原理，是解决PHP获取自定义Header问题的关键。在...
license_header_check：检查具有适当版权年份的许可证标头，并在需要时插入标头
02-28
python文件的许可证标头检查器 一个预先提交的钩子，用于检查python文件的许可证标头（版权年份）并在需要时进行更新。 用法 将以下配置添加到.pre-commit-config.yaml - repo : https://github.com/shashank68/license_header_check/ rev : " 1.0 " hooks : - id : license-header-check name : License header check files : \.py$ 手动运行 pre-commit run license-header-check [--all-files]
如何设置Referer和浏览器UA
最新发布
qq_36813470的博客
07-19 849
为了避免这种情况，我们可以设置自定义的Referer和浏览器UA，使我们的请求看起来更像是正常的浏览器行为，从而提高我们的爬取成功率。然而，通过设置Referer和浏览器User Agent（UA），我们可以突破技术壁垒，提高数据爬取的成功率和效率。设置正确的Referer和浏览器UA可以让我们绕过登录限制，避免被网站检测到并封禁IP地址，从而提高爬取的成功率。一些网站会根据不同的浏览器UA返回不同的内容或限制访问，通过设置合适的浏览器UA，我们可以模拟各种浏览器的行为，提高爬取的成功率。
在header中添加自定义属性防止CSRF
lc20008的博客
09-24 8675
在header中添加自定义属性防止CSRF 一、 概述 CSRF（Cross-site request forgery），中文名称：跨站请求伪造，也被称为：one click attack/session riding，缩写为：CSRF/XSRF。尽管听起来像跨站脚本（XSS），但它与XSS非常不同，并且攻击方式几乎相左。XSS利用站点内的信任用户，而CSRF则通过伪装来自受信任用户的请
添加headers头文件反爬虫
11-18 1094
import urllib2import redef geturl(): headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0'} ...
利用Referer请求头防止“盗链”
daqi1983的博客
08-13 784
一、介绍 在实际开发中，经常会使用Referer头字段，例如，一些站点为了吸引人气并且提高站点访问量，提供了各种软件的下载页面，但是它们本身没有这些资源，只是将下载的超链接指向其它站点上的资源。而真正提供了下载资源的站点为了防止这种“盗链”，就需要检查请求来源，只接收本站链接发送的下载请求，阻止其它站点链接的下载请求。 二、创建DownManagerServlet 该类负责下载内容，要求下载请求（http://localhost:8080/chapter04/DownManagerServlet）来自
如何禁止搜索引擎收录WordPress站点某个分类的文章？
boke112的博客
08-25 703
​​建立好个人博客网站之后一般都比较冲动，什么类型的文章都发布，然后慢慢地就只专注于某些领域的文章，那么以前的一些“无用”的旧文章怎么办呢？如果直接删除有可能会被降权，所以我们可以通过代码禁止搜索引擎收录这些文章，老古认为这样做比直接删除文章要好很多。那么应该如何禁止搜索引擎收录 WordPress 站点某个分类的文章呢？ 基础知识普及： 1、noindex：既不在搜索结果中显示该网页，也不在搜索结果中显示网页快照链接，相当于禁止收录和索引。 2、in_category()：通过分类 ID 或别...
隐藏服务器header与web软件版本信息
热门推荐
Enweitech Software Works
01-15 1万+
引入    每次当浏览器向Web服务器发起一个请求的时，都会伴随着一些HTTP头的发送.而这些HTTP头是用于给Web服务器提供一些额外信息以便于处理请求。比如说吧。如果浏览器支持压缩功能，则浏览器会发送Accept-Encoding HTTP头，这样一来服务器便知道浏览器可以使用哪种压缩算法。还有任何在上一次传输中服务端设置的cookies也会通过Cookies HTTP头来回传到服务器，浏览...
Python爬虫：一些常用的爬虫技巧总结
banyue7557的专栏
04-06 391
用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。 爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 1、基本抓取网页 get方法 ? 1 2 3 4 5 importurllib2 ...
SmartRefreshLayout自定义Header
06-02
SmartRefreshLayout是一个很棒的下拉刷新、上拉加载更多的框架，它支持自定义Header和Footer来满足不同的需求。下面是自定义Header的步骤： 1. 创建一个类，继承自RefreshHeader或者继承自它的子类，比如BezierRadarHeader或者FalsifyHeader等。 2. 实现RefreshHeader的必要方法，onInitialized、onPullingDown、onReleasing和onRefresh等。其中，onInitialized方法用于初始化Header，onPullingDown方法用于下拉过程的动画，onReleasing方法用于松手后Header的动画，onRefresh方法用于进行数据加载。 3. 在布局文件中引入自定义的Header，使用自定义的类名即可。注意，Header的高度需要根据实际情况进行设置，可以使用dp或者px单位。 4. 在代码中使用SmartRefreshLayout的setRefreshHeader方法来设置自定义Header。 下面是一个简单的示例代码： ``` public class MyCustomHeader extends RefreshHeader { @Override public void onInitialized(@NonNull RefreshKernel kernel, int height, int extendHeight) { // 初始化Header } @Override public void onPullingDown(float percent, int offset, int height, int extendHeight) { // 下拉过程的动画 } @Override public void onReleasing(float percent, int offset, int height, int extendHeight) { // 松手后Header的动画 } @Override public void onRefresh(@NonNull RefreshLayout refreshLayout) { // 进行数据加载 } } // 在布局文件中引入自定义的Header <com.scwang.smartrefresh.layout.SmartRefreshLayout ... > <com.example.MyCustomHeader android:layout_width="match_parent" android:layout_height="100dp"/> </com.scwang.smartrefresh.layout.SmartRefreshLayout> // 在代码中设置自定义Header SmartRefreshLayout refreshLayout = findViewById(R.id.refreshLayout); refreshLayout.setRefreshHeader(new MyCustomHeader()); ``` 注意，自定义Header的实现需要根据实际需求进行调整，上述代码仅供参考。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值