python解析日志,获取想要的数据

最新推荐文章于 2024-04-30 18:27:19 发布

diaolangyi8402

最新推荐文章于 2024-04-30 18:27:19 发布

阅读量739

点赞数

文章标签： python json java

原文链接：http://www.cnblogs.com/lisongyu/p/10796315.html

版权

本文讲述了作者在Python环境下编写日志解析脚本的经历，遇到的问题以及解决方案。在处理日志时，遇到DES解密需要8位固定key的问题，通过先用空key初始化后设置32位key来解决。同时，由于日志中包含看似JSON但并非标准格式的数据，作者编写了特定的解析方法。虽然Python执行时间较长，作者认为用Java可能能提升效率。

摘要由CSDN通过智能技术生成

由于老大需要对日志进行解析,获取到相应桩的信息,所以我写了个专门的解析脚本,就是执行的时间有点长,如果用java的话应该可以快2/3.练一下python.

在该脚本中遇到的问题就是des解密的时候有一个固定8位的key.当时使用32位的长key,每次都报错,后来发现可以先使用8位空key设置,再setKey(KEY)为32位的.
解析截取到的数据时,看似json格式,其实并不是,所以单写了个解析方法.

# -*- coding: utf-8 -*-
import os
import linecache    # 对文件进行行缓存,可以直接取到想要的行值
import base64       # base64解码
import pandas as pd # 进行格式化数据
from pyDes import *
from Crypto import Random
import sys
from urllib import parse    # 进行urlencode
import time             # 记录时间
import json             # json转化    

FILEDIR = r'E:\aaa'
KEY = '' # 秘钥 
PILENUMBERS = ['1011895210701234176-1',
               '1011895210701234176-2',
               '1011895284617453568-1',
               '1011895284617453568-2',
               '1011895333984407552-1',
               '1011895333984407552-