- 博客(5)
- 收藏
- 关注
RSS订阅原创 Apache/Nginx/PHP反网络爬虫攻略
我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守 robots 规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如一些恶意爬取网站漏洞的爬虫。最近发现 nginx 日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法，在给自己网做设置的同时，也给各位站长提供参考。一、Apache①、通过修改 .htac...
2018-03-29 11:26:14
2396
原创 Shell脚本自动抓取蜘蛛404死链并提交到搜索引擎
脚本主要功能：每天定时分析网站前一天的 nginx 日志， 然后提取状态码为 404 并且 UA 为百度蜘蛛的抓取路径，并写入到网站根目录下的 death.txt 文件，用于提交百度死链。#!/bin/bash#Desc: Death Chain File Script#Author: ZhangGe#Blog: http://zhangge.net/5038.html#Dat...
2018-03-29 10:43:55
980
原创 Ubuntu下使用Vagrant打造跨平台可移动的LAMP开发环境
Vagrant其实说白了，它就是一个管理虚拟机的工具，反正好处多多，其他的你们自己去查吧所需的工具1、vagrant，这个是必须的，用来管理虚拟机下载你电脑对应的版本下载地址：https://releases.hashicorp.com/vagrant/1.8.62、虚拟机软件，这里我用的是VirtualBox 下载地址：https://www.virtualbox.org/wiki/Down...
2018-03-15 11:02:31
884
原创 ubuntu14.04安装mysql-server出现unable to fetch some archives
今天博主不小心把MySQL库给删除了，只好重装MySQL了，结果在安装的时候出现：ubuntu14.04安装mysql-server报错........... unable to fetch some archives ,maybe run apt-get update or try with解决方法：执行命令:sudo apt-get update...
2018-03-08 11:57:11
840
1
原创 ubuntu安装lamp开发环境以及composer和laravel
安装apache：sudo apt-get install apache2确实是否安装：apache2 -v安装mysql服务端：sudo apt-get install mysql-server安装mysql客户端：sudo apt-get install mysql-client安装php：sudo apt-get install php7.0-cli安装php所需的扩展模块：sudo apt...
2018-03-08 00:14:03
457
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人