思考（八十一）：日志数据去重、归类

错误日志

生产环境中，通常会持续触发，甚至刷屏

因此，数据分析这块，可以把错误日志做下去重、归类

以避免某些错误，因为被刷屏，导致没抓到

实现思路

1. 日志数据打到 es 上
2. 根据一些特征值，抓取 es 日志数据。存入 csv 文件
3. 从 csv 中读取日志数据，利用字符串相似度算法，去重错误日志

实作例子 - 抓取 es 日志数据

# -*- coding: utf8 -*-
import argparse
import json
import os
import pandas
from pandasql import sqldf


def pysqldf(q): return