工作随笔：利用爬虫抓取系统日志

目录

背景：

需求：

准备工作：

代码

---

背景：

（每周进步一点点）

我是一名小测试，目前主要在负责一个工厂项目的测试工作，包括工厂使用的出货和货物管理的系统，客户使用的一个小程序。

同时还包括给我们的客户解决一些问题（我们叫他生产问题），巡检APM。

由于我们的系统主要布在阿里云上，利用kibana记录一些报错日志，工作要求我们每周去检查这些日志，尤其是报错的日志，以及未出现的报错。

需求：

以往都是人工去查看，时间会出现问题，比如这周是周五早上9点看的，下周是下午2点看的，那么就会有一段时间没有照顾到，以及服务比较多每次查看下来都要半个小时起步，再就是报错的发生次数比较多，一周的报错上千上万都是正常的，对报错内容进行抽检，查看参数，进行分析。如此以来工作重复。

那么利用能不能利用现有的工具去简化呢？想到的最贴近的解决方式就是爬虫，爬取数据+处理数据+持久化储存。

准备工作：

爬虫的主要工作方式就是利用接口来获取信息。

准确的抓到接口请求是我们要做的第一步&#x