Python
weixin_43315211
IT新人
展开
-
python 将一行list(json)转为多行多列
from common.json2csvAnalyzer import * from utils.logger import MyLogging import json import datetime import pandas as pd logger = MyLogging().get_log() def rename_ods_output_cols(df, output_cols): """ 字段重命名,并增加ods操作的字段 :param df: input data原创 2021-09-03 14:14:17 · 2297 阅读 · 0 评论 -
python logging 日志
日志模块定义 import logging class MyLogging(object): """ 封装后的logging """ def __init__(self, logger=None): # 创建一个logger self.logger = logging.getLogger(logger) self.logger.setLevel(logging.DEBUG) # 再创建一个handler,原创 2021-09-03 13:19:05 · 298 阅读 · 0 评论 -
Python随机生成上亿数据,并写入greenplum数据库中
最近项目中需要自己制造大量数据,并对greenplum的插件--gptext(全文检索)的性能进行测试。如果直接用python进行写入,性能太差,每小时大约插入几十万的数据。后面想到解决方法,先用python生成数据,写入到文本文件中,后使用greenplum的copy函数,进行数据的批量导入,大大节约了的时间,提升了效率: 1、使用Python随机生成数据: 具体方法见:https://bl...原创 2019-02-26 10:50:27 · 1824 阅读 · 0 评论