linux
小枫vip
我的代码愿意为你服务!
展开
-
Nginx 反爬虫
今日头条蜘蛛疯狂抓取导致cpu爆满,这个蜘蛛真是太残忍了,抓取的频率太高了,而在今日头条内会屏蔽网站内的所有广告,所以这种抓取没什么用,都形成CC攻击了。最近网站访问明显慢了很多,阿里云一整就给我网站拉进小黑屋,看了网站监控发现都是今日头条抓取,本来我没想管,但是抓取频率超过了基础防火墙而且CPU爆满禁止了立马好了。我的服务器是4H4G20M带宽,本来也就一千多人访问,通过监控软件查看居然达到了六万。太疯狂了nginx在站点的设置,配置文件中 server{ } 中添加#禁止爬虫工具的抓取 .原创 2021-04-26 14:05:45 · 908 阅读 · 0 评论 -
linux wget 整站克隆/仿站
linux wget 整站克隆/仿站 教程通过如下命令可以整个网站的源码下载到本地$ wget -r -p -np -k www.avatrade.cnWget参数说明:-r --recursive(递归) specify recursive download.(指定递归下载)-k --convert-links(转换链接) make links in downloaded HTML point原创 2018-04-08 11:14:34 · 8953 阅读 · 1 评论 -
Linux 批量修改文件后缀名
把 a b c 修改成 a.txt b.txt c.txt$ rename 's/$/\.txt/' *把 a.txt b.txt c.txt 修改成 a.html b.html c.html$ rename 's/\.txt/\.html/' *原创 2018-04-06 15:36:15 · 7534 阅读 · 2 评论