python数据处理/包含字典的数组

最新推荐文章于 2024-08-23 22:04:49 发布

sd116460

最新推荐文章于 2024-08-23 22:04:49 发布

阅读量2.8k

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/sd116460/article/details/107780769

版权

本文介绍了在处理从Mongo数据库中提取的包含字典的数组数据时所遇到的问题及解决方案。使用Mongo的aggregate方法进行数据筛选，并通过pipeline操作获取特定字段。在进一步处理中，利用$artists.id获取字典内值，并注意数据类型可能为数组。在将数据导入pandas时，使用`pd.DataFrame.from_dict()`函数，通过orient参数设置将字典转换为DataFrame。

摘要由CSDN通过智能技术生成

从mongo提取数据的时候，遇到了一类让人有点头疼的数据，数据类型是一个数组，数组内包含的是字典，大致如下：

在处理的过程中想了半天办法，也学了不少东西：先说说怎么处理这类数据，再来说我中间用到的几种新的方法，虽然没有起到特别大的作用，但是学到了不少新东西。

解决办法算是用了比较暴力的方法：

使用mongo的aggregate方法筛选数据，这里的col是我已经创建好了的一个指定mongo的表

pipline = [
    {'$match': {"$and": [{"crawl_time": {"$gte": "2020-07-23 0:0:0"}}, {"crawl_time": {"$lt": "2020-08-03 0:0:0"}}]
                }}, {'$project': {'songId': 1, 'playCount': 1, 'crawl_time': 1, 'songName': 1, 'albums': 1,'artists':1}}]
mongo_r = col.aggregate(pipline)
songId = []
playCount = []
crawl_time = []
songName = []
albums_name = []
albums_id = []
artists_name=[]

for i