金融数据处理之期货数据处理

最新推荐文章于 2024-08-17 16:16:38 发布

夜宿可可西里

最新推荐文章于 2024-08-17 16:16:38 发布

阅读量1.1k

点赞数 1

文章标签： python 金融数据

本文链接：https://blog.csdn.net/qq_36658338/article/details/80913487

版权

本文探讨了金融数据处理中遇到的数据库效率和时间连续性问题。为了解决数据库表过多查看不便的问题，提出了通过定时检查数据记录数来判断新数据并填充模拟数据的方法，确保数据在时间序列上的连续性。

摘要由CSDN通过智能技术生成

在对数据库中的数据进行提取、使用时遇到一些问题，1）数据库中表（集合）过多，全部打开并查看太耗时耗力；2）后面进行数据周期转换时需要数据在时间上是连续的，空缺值的处理也是需要解决的问题。

针对第一个问题，解决办法如下：

  #初始化数据集合
    while True:
        countList1=[]
        countList2=[]
        #遍历每个集合中的数据数量
        for code in FutureCode.future_code_shanghai:
            TABLE = code
            db_des_table = db_des[TABLE]
            counts1 = db_des_table.count()
            countList1.append(counts1)

        #再次遍历
        time.sleep(60)
        for code in FutureCode.future_code_shanghai:
            TABLE = code
            db_des_table = db_des[TABLE]
            counts2 = db_des_table.count()
            countList2.append(counts2)

        num=0
        for num1,num2 in zip(countList1,countList2):
            if num2-num1!=0:#发现新记录产生
                print("\033[0;31m%s\033[0m" % "New data have been f