pandas处理mongodb数据

最新推荐文章于 2024-04-11 21:28:42 发布
最新推荐文章于 2024-04-11 21:28:42 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： 数据分析 文章标签： pandas mongo 数据清洗
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Crazy__Hope/article/details/79709292
版权

使用pandas处理mongodb数据，转储为csv

import pymongo
import pandas as pd

client = pymongo.MongoClient('192.168.116.215')
cur = client["库名"]["集合"]

data = pd.DataFrame(list(cur.find()))
del data["_id"]
# 存储的时候可以做一些数据清洗的工作,清洗脏数据
data.to_csv("1.csv")
Crazy__Hope
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python实现将数据框数据写入mongodb及mysql数据库的方法
09-09
本篇主要讲解如何利用Python将数据框（通常为Pandas DataFrame类型）的数据写入MongoDB和MySQL数据库，这两种数据库在大数据处理和Web开发中都有广泛的应用。 首先，我们来看如何将数据框数据写入MongoDB。MongoDB...
recruit:recruit 招聘爬虫+数据分析 1.爬虫： 采用Scrapy 分布式爬虫技术，使用mongodb作为数据存储，爬取的网站Demo为51job，数据我目前爬了有几千条 2.数据处理： 采用pandas对爬取的数据进行清洗和处理 2.数据分析： 采用flask后端获取mongodb数据，前端使用bootstrap3.echarts以及D3的词云图，如果喜欢请star or Fork,预览详见
05-04
数据处理：采用pandas对爬取的数据进行清晰和处理2.数据分析：采用flask后端获取mongodb数据，前端使用bootstrap3.echarts以及D3的词云图###注意：1. pymongo安装版本 <=3.0 建议 pip install pymongo==2.8###2. ...
pandas 操作mongdb excel
qq_42229759的博客
11-21 183
# -*- encoding: utf-8 -*- import pymongo import pandas as pd # 链接mongdb client = pymongo.MongoClient('localhost', 27017) # 数据库名字 db = client['research'] # 表名 pk10 = db['highway_name'] # 从excel中读数...
在pandas中加载mongodb中的数据
weixin_34208283的博客
06-20 232
#导入相应的包 import pymongo import pandas as pd from pandas import Series,DataFrame #连接数据库 client = pymongo.MongoClient('localhost',27017) #加载库 ganji = client['ganji'] #加载collection info = ganji['info'] ...
Python 导出读取MongoDB数据到Pandas分析
最新发布
weixin_42098295的博客
04-11 408
要从MongoDB导出数据并在Python中使用Pandas进行分析，需要使用pymongo库来连接MongoDB数据库并查询数据，然后使用pandas库将这些数据转换为DataFrame以便分析。
使用pandas把mysql的数据导入MongoDB。
dianyin7770的博客
09-30 200
使用pandas把mysql的数据导入MongoDB。 首先说下我的需求，我需要把mysql的70万条数据导入到mongodb并去重， 同时在第二列加入一个url字段，字段的值和第三列的值一样，代码如下: # -*- coding: utf-8 -*- # @Time : 2018/9/29 17:20 # @Author : cxa # @File : run.py # ...
Pandas写入DataFrame到MongoDB数据库
热门推荐
data_scientist的博客
01-25 1万+
#-*- coding:utf-8 -*- import sys import pandas as pd import json from pymongo import MongoClient reload(sys) sys.setdefaultencoding('utf-8')class MongoBase: def __init__(self,collection): s
pandas可以导入mysql_使用pandas把mysql的数据导入MongoDB。
weixin_29862397的博客
01-19 220
使用pandas把mysql的数据导入MongoDB。首先说下我的需求，我需要把mysql的70万条数据导入到mongodb并去重，同时在第二列加入一个url字段，字段的值和第三列的值一样，代码如下:# -*- coding: utf-8 -*-# @Time : 2018/9/29 17:20# @Author : cxa# @File : run.py# @Software: P...
weaverbird:具有各种后端的可视数据管道构建器
03-26
韦弗鸟一般文件该项目的技术和用户文档位于该文档的源文件可以在docs目录中找到。 您可以在在线玩耍项目设置yarn install 要求：节点> v11编译目标库yarn build-bundle 这将在dist目录中生成一个可导入的JS ...
详解MongoDB中创建集合与删除集合的操作方法
09-10
MongoDB是一种流行的NoSQL数据库系统，它以集合（collections）的形式存储数据，这些集合类似于关系型数据库中的表。本文将详细介绍如何在MongoDB中创建和删除集合。 **创建集合** 在MongoDB中，创建集合有两种...
A毕业设计：爬虫和数据分析
03-15
- 使用数据分析工具（如Python中的NumPy、Pandas、Matplotlib等）对数据进行探索性分析、统计分析和可视化分析。 - 可以应用机器学习算法进行数据建模和预测，如分类、聚类、回归分析等。 5. ...... -
pandas基础__之__对获取mongodb数据
xiaoQL520的博客
09-27 1275
pandas基础__之__对获取mongodb数据
python操作mongodb之基础操作
IAlexanderI的专栏
08-31 2609
#coding：utf-8 __author__ = 'hdfs' import pymongo from pymongo import MongoClient client = MongoClient()   client=MongoClient('10.0.0.9',27017) #连接mongodb数据库 client = MongoClien
pandas处理mongodb数据 01
qinjiechina的博客
04-24 1000
最近在做神经网络预测出行的项目，在过程中遇到了一些问题。因为数据是用mongodb存储的，而在项目当中需要很多对数据的操作。比如条件查询，条件更改，如果单纯的依靠mongodb自带的方法的话。太慢了。。。。，下面介绍一下我的方法1 python连接mongodbfrom pymongo import MongoClient #如果没有，pip instal mongoClient就ok了 conn...
【python爬虫专项（17）】如何通过python使用MongoDB（pandas与mongo的交互）
lys_828的博客
02-10 795
核心工具包：pymongo python通过pymongo来连接mongo pymongo安装 命令提示符中安装：pip install pymongo 查看安装版本：pip show pymongo 创建MongoClient对象，连接mongo 1） 创建对象 myclient = pymongo.MongoClient(“mongodb://localhost:27017/”) 2）查看现...
Pandas的学习(读取mongodb数据库集合到DataFrame，将DataFrame类型数据保存到mongodb数据库中)
Mogul的博客
09-02 2632
1.读取mongodb数据库集合到DataFrame import pymongo import pandas as pd client = pymongo.MongoClient("数据库连接字符串") # 第二种方式 host='localhost', port=27017 db = client['要读取的数据库名'] coll_name = db['要读取的集合名'] # 读取mongodb的集合到pandas df = pd.DataFrame(list(coll_name.fin..
爬取贝壳租房信息存储到mongoDB
lbship的博客
05-01 2101
前几天链家网升级成贝壳找房了，融合了十几家知名公寓的租房信息，太赞了，正好有多方面数据来源可以分析。代码是存储到mongoDB上（忍不住吐槽一下，mongoDB对32位的系统真不友好，各种问题，要么要安装补丁，每次打开都要更改存储位置，有时候还要解除进程锁），也可以改成存储到Excel中，把注释去掉就行了。下面是贝壳找房的代码： import pymongo import requests,c...
python数据分析：在pandas中加载mongodb中的数据
weixin_41576911的博客
03-02 5693
#导入相应的包 import pymongo import pandas as pd from pandas import Series,DataFrame #连接数据库 client = pymongo.MongoClient('localhost',27017) ganji = client['ganji'] info = ganji['info'] #加载数据 data = DataFram...
pandas 读取mongodb 储存的数据, pandas链接mongodb
从零开始学习python --zeropython
11-30 1243
在工作中经常用到mongodb 作为数据的存取,但是有时候进行数据的处理,一条条的读取,感觉挺慢,用pandas 进行读取速度杠杠的,那么问题来了怎么读取 mongodb中的数据呢? # 导入用到的包 Python # coding:utf-8 import <span cl...
用pandas处理mongodb中评分和评论人数的数据进行数据预处理
05-29
如果你已经将从豆瓣读书网爬取的评分和评论人数数据存储到了MongoDB中，可以使用pandas库从MongoDB中获取数据并进行数据预处理。下面是一个简单的示例代码，假设你已经安装了pymongo和pandas库： ```python import pymongo import pandas as pd # 连接MongoDB数据库 client = pymongo.MongoClient('mongodb://localhost:27017/') db = client['douban_book'] # 数据库名 collection = db['book_info'] # 集合名 # 从MongoDB中获取评分和评论人数数据 data = pd.DataFrame(list(collection.find({}, {'_id':0, 'score':1, 'comment_count':1}))) # 数据清洗 data = data.dropna() # 删除缺失值 # 数据标准化 data['score'] = (data['score'] - data['score'].min()) / (data['score'].max() - data['score'].min()) # 数据归一化 data['comment_count'] = (data['comment_count'] - data['comment_count'].min()) / (data['comment_count'].max() - data['comment_count'].min()) # 数据转换 data['score'] = data['score'].apply(lambda x: np.log10(x+1)) data['comment_count'] = data['comment_count'].apply(lambda x: np.sqrt(x)) # 保存处理后的数据到MongoDB中 collection_processed = db['book_info_processed'] # 新的集合名 collection_processed.insert_many(data.to_dict('records')) # 打印处理后的数据 print(data.head()) ``` 上述代码中，通过pymongo连接MongoDB数据库，并从集合`book_info`中获取评分和评论人数数据。然后对数据进行清洗、标准化、归一化和转换等预处理操作，最后将处理后的数据保存到MongoDB中的集合`book_info_processed`中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值