nginx
eniluzt
http://www.enilu.cn
展开
-
通过统计nginx访问日志禁止恶意抓取数据的实现
nginx默认会记录客户端访问服务端的日志,默认的目录位于:/var/logs/access.log;业务需求:每小时读取access.log内容,统计每个ipd访问系统次数,如果超过指定次数,则将该ip加入到防火墙中,以便禁止其继续访问(后续可以考虑不是禁止其访问服务,而是重定向到指定的页面)。这样避免别人恶意从自己网站上抓取数据原创 2014-09-25 18:02:32 · 1053 阅读 · 0 评论 -
手把手写个爬取it博客的网站-需求分析
陆陆续续折腾一周的网站上线了,地址在这里http://itblog.enilu.cn这个网站主要汇聚了一些优秀的IT类博客的文章索引,用户在这里就可以看到全网很多大牛和牛X团队的技术博客,可谓干货满满。针对这个网站的实现过程,分为8篇文章分别说明:0.手把手写个爬取IT博客的网站-提纲1.手把手写个爬取IT博客的网站-需求分析2.手把手写个爬取IT博客的网站-技术选型3.手把手写个爬取...原创 2018-07-25 18:59:35 · 627 阅读 · 0 评论