子宽的专栏

介绍日常维护运行在集群上的服务时，依次登录到机器上查看日志文件显然是非常低效的。另一方面，这些日志文件经常是有着良好的格式以及固定的路径。如果能将指定的日志文件批量导出到一个数据库里，无论是查看还是检索都会方便很多。这里记录一下在构建日志管理系统时的一些工具和方法，方便以后取用。本文将构建的系统如下面的框图所示，用于管理日志文件（例如.log文件），并可以通过可视化工具Kibana显示、查...

背景近期由于工作上的需求，研究了一下反爬虫的工作。爬虫真是一种让人又爱又恨的存在，一方面搜索引擎的爬虫可以带来更多曝光率和更多流量，对公司是一件好事，但是也有一些个人或者竞争对手的爬虫，不但不会带来利润，反而会像DDos一样对服务器造成压力。反爬虫一般存在于两个环节，一种是traffic层面，在爬虫访问到服务器之前进行识别、区分，减轻服务器的压力，一般CDN提供商会有相关的反爬虫服务可以购...