百度蜘蛛爬取后,返回304代码的分析与解决方法

2xx 成功
200 正常; 请求已完成。
201 正常; 紧接 POST 命令。
202 正常; 已接受用于处理, 但处理尚未完成。
203 正常; 部分信息 - 返回的信息只是一部分。
204 正常; 无响应 - 已接收请求, 但不存在要回送的信息。
3xx 重定向
301 已移动 - 请求的数据具有新的位置且更改是永久的。
302 已找到 - 请求的数据临时具有不同 URI。
303 请参阅其它 - 可在另一 URI 下找到对请求的响应, 且应使用 GET 方法检索此响应。
304 未修改 - 未按预期修改文档。
305 使用代理 - 必须通过位置字段中提供的代理来访问请求的资源。
306 未使用 - 不再使用; 保留此代码以便将来使用。
4xx 客户机中出现的错误
400 错误请求 - 请求中有语法问题, 或不能满足请求。
401 未授权 - 未授权客户机访问数据。
402 需要付款 - 表示计费系统已有效。
403 禁止 - 即使有授权也不需要访问。
404 找不到 - 服务器找不到给定的资源; 文档不存在。
407 代理认证请求 - 客户机首先必须使用代理认证自身。
410 请求的网页不存在(永久) ;
415 介质类型不受支持 - 服务器拒绝服务请求, 因为不支持请求实体的格式。
5xx 服务器中出现的错误
500 内部错误 - 因为意外情况, 服务器不能完成请求。
501 未执行 - 服务器不支持请求的工具。
502 错误网关 - 服务器接收到来自上游服务器的无效响应。
503 无法获得服务 - 由于临时过载或维护, 服务器无法处理请求。

今天观察案例网站日志遇到一个问题在这里插入图片描述
全部返回是304,检查原因是因为蜘蛛爬取时网站没有进行更新操作,具体分析和解决方案 可以参考百度百科https://wenku.baidu.com/view/687d03936bec0975f465e243.html

早先年,驰骋网络,积累了很多源代码…… 互联网基因、骨头里就是自由、分享,非常感谢没有墙时代,无限怀念,想想当时BBS,俱往矣~ 如今互联网却在疯狂过滤、筛选、删除,有了N多墙…… 不知道说什么好,很多资源因为商业利益原因从如今臭名昭著搜索引擎中被删除,恐怕是很担忧起之秀…… 遗憾是互联网不但是必须自由,而且是创新天地,前辈们结实臂膀就是无私奉献给来者攀登,而决不是扼杀…… 最近看到网络上商业争吵,很是气愤~!!! 于是就开始重新注意网络蜘蛛…… 很难过,网络上已经很难找到免费、有价值蜘蛛代码~ 每一个程序人(包括国外)如果没有demo,又从何入手??? 可笑人,可笑世界,一个自由网络被勒上了无形缰绳,网络上哪些免费、有价值资源正被搜索引擎“淡”化,包括谷沟(早先一睹古够地图就下了结论:互联网摧毁一切!),不是吗?看看全世界墙,从太极看:物极必反,自由极端就是地狱、牢笼……任何东西都有互反作用,美味食物都带“毒”,但人们选择容忍、忽略,存在有不用付出代价东西吗?! 我翻出我布袋,把它们依然放回它们应该呆地方,让更多人们得到启发,开始创新之旅,期待您精彩,感谢曾经自由(不被看重)网络~~~ ------------------------------- 这个是完整项目源代码,原汁原味,无需多舌~ 搞程序,必须e文过关,自己琢磨去吧~ 我们记住一点: 互联网上流转都是数字,那些非数字东西只是方便更多人使用,网络上“散布”什么反向搜索等等只是一种愚笨方法而已,实际上蜘蛛是根本不需要DNS、注册机构什么劳什子,它只需要不知疲倦地啃噬不同国家地区IP,并不是所有IP都注册、登记哦~ 把不“规则”物料抓回来,接着才是反向等方式数据整理,蜘蛛织网、缝补都是需要时间积累,这些原始东西才是人们真正感兴趣东西,“归置、加工”只是一种规则下苟且或商业需要罢了…… 所以这个蜘蛛只需要你给(小小更动)它喂食(IP库)~ 它就会不知疲劳地四处,抓回东西…… 怎么组织数据(库)才是搜索引擎关键~!!! 抓回来就看你怎么折腾、运作了,可以肯定是: 互联网需要就是千奇百怪、五花八门搜索引擎~!!! 目前数量远远不够,远远不够,这将是它魅力,需要大家智慧和义务劳动,在摧毁一切之前我们尽心营造和谐,呵呵~ ===================================== 忘记了…… 再来说下用途: 比如你在某网站,看到想看图片,但要注册什么看不到,还有其它资源~ 怎么办呢? 就用蜘蛛吧,把地址准确输入,它就会自动给你出来…… 可以设定要抓取文件类型,…… 比如图片什么,征婚网站有很多mm图片,就是看不到,怎么办? 用虫吧,当然虫只能所有http资源,数据库中就得用另法了,呵呵~
评论 2 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

敲代码的小方同学

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值