pandas基础__之__对获取mongodb数据

import pandas as pd
from pymongo import MongoClient

#建立MongoDB数据库连接
client = MongoClient('192.168.248.52',12000)
#连接所需数据库,locateInfo为数据库名
db = client.locateInfo
db.authenticate("me", "me")
#连接所用集合
collection = db.dataCollect
#从mongodb获取数据
gpsData = pd.DataFrame(list(collection.find({"deviceId":"05792"})))
#删除数据Id字段
del gpsData['_id']
# 选择需要显示的字段
gpsData = gpsData[['deviceId','lating','lnging','gnssTime','locateType']]
#对数据按照时间的升序排序
gpsData = gpsData.sort('gnssTime')
print(gpsData)
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
如果你已经将从豆瓣读书网爬取的评分和评论人数数据存储到了MongoDB中,可以使用pandas库从MongoDB获取数据并进行数据预处理。下面是一个简单的示例代码,假设你已经安装了pymongo和pandas库: ```python import pymongo import pandas as pd # 连接MongoDB数据库 client = pymongo.MongoClient('mongodb://localhost:27017/') db = client['douban_book'] # 数据库名 collection = db['book_info'] # 集合名 # 从MongoDB获取评分和评论人数数据 data = pd.DataFrame(list(collection.find({}, {'_id':0, 'score':1, 'comment_count':1}))) # 数据清洗 data = data.dropna() # 删除缺失值 # 数据标准化 data['score'] = (data['score'] - data['score'].min()) / (data['score'].max() - data['score'].min()) # 数据归一化 data['comment_count'] = (data['comment_count'] - data['comment_count'].min()) / (data['comment_count'].max() - data['comment_count'].min()) # 数据转换 data['score'] = data['score'].apply(lambda x: np.log10(x+1)) data['comment_count'] = data['comment_count'].apply(lambda x: np.sqrt(x)) # 保存处理后的数据MongoDB中 collection_processed = db['book_info_processed'] # 新的集合名 collection_processed.insert_many(data.to_dict('records')) # 打印处理后的数据 print(data.head()) ``` 上述代码中,通过pymongo连接MongoDB数据库,并从集合`book_info`中获取评分和评论人数数据。然后对数据进行清洗、标准化、归一化和转换等预处理操作,最后将处理后的数据保存到MongoDB中的集合`book_info_processed`中。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值