MongoDB学习笔记-数据导入Excel文件

原创 2016年08月28日 15:50:31

使用mongoexport工具

bin/mongoexport --host 192.168.10.10:27017 --username test --password test --db test --collection user --type=csv --fields "name,age,phone,email,address" --out data.csv


使用python的pymongo

pip install pymongo

# -*- coding:utf-8 -*-

import sys
import xlwt
import datetime
from pymongo import MongoClient

default_encoding = 'utf-8'
if sys.getdefaultencoding() != default_encoding:
    print sys.getdefaultencoding()
    reload(sys)
    sys.setdefaultencoding(default_encoding)
    

if __name__=='__main__':  
    startTime = datetime.datetime.now()
    
    mongoClient = MongoClient("192.168.10.10", 27017)
    #连接库
    db = mongoClient.test 
    #用户认证
    db.authenticate("test","test")
    
    print db.user.count()
    
    workbook = xlwt.Workbook(encoding='utf-8')  
    
    #datas = db.user.find()
    datas = db.user.find()[0:100]

    EXCEL_ROWS = 65535
    EXCEL_COLS = 256
    nrows, total_rows, sheet_num = 0, 0, 0
    
    for data in datas:
        if (nrows % EXCEL_ROWS == 0):
            wsheet = workbook.add_sheet('sheet' + str(sheet_num), cell_overwrite_ok = True)
            nrows = 0
            sheet_num = sheet_num + 1
        keys = data.keys()
        cols_num = EXCEL_COLS if len(keys) > EXCEL_COLS else len(keys)
        for ncol in xrange(cols_num):
            value = data[keys[ncol]]
            wsheet.write(nrows, ncol, value)
        nrows = nrows + 1
        total_rows = total_rows + 1
    
    workbook.save("F:\\a.xls")
    endTime = datetime.datetime.now()
    print "import xls success ! spend time %s seconds" %((endTime - startTime).seconds)
     

# -*- coding:utf-8 -*-

import sys
import datetime
import xlsxwriter
from pymongo import MongoClient

default_encoding = 'utf-8'
if sys.getdefaultencoding() != default_encoding:
    print sys.getdefaultencoding()
    reload(sys)
    sys.setdefaultencoding(default_encoding)
    

if __name__=='__main__':  
    startTime = datetime.datetime.now()
    
    mongoClient = MongoClient("192.168.10.10", 27017)
    #连接库
    db = mongoClient.test 
    #用户认证
    db.authenticate("test","test")
    
    print db.user.count()
    
    #datas = db.user.find()
    datas = db.user.find()[0:100]

    workbook = xlsxwriter.Workbook("F:\\b.xlsx")
    
    BUFSIZE = 1024
    EXCEL_ROWS = 1040000
    EXCEL_COLS = 16384
    nrows, total_rows, sheet_num = 0, 0, 0
    
    for data in datas:
        if (nrows % EXCEL_ROWS == 0):
            worksheet = workbook.add_worksheet(name = 'sheet' + str(sheet_num))
            nrows = 0
            sheet_num = sheet_num + 1
        keys = data.keys()
        cols_num = EXCEL_COLS if len(keys) > EXCEL_COLS else len(keys)
        for ncol in xrange(cols_num):
            value = data[keys[ncol]]
            worksheet.write(nrows, ncol, value)
        nrows = nrows + 1
        total_rows = total_rows + 1
    
    workbook.close()
    endTime = datetime.datetime.now()
    print "import xlsx success ! spend time %s seconds" %((endTime - startTime).seconds)
        





版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

如何将excel数据导入mongoDB数据库?

如何将excel数据导入mongoDB数据库?以PITags.xlsx文件为例,内容如下: id name tagName status min max period default_va...

在Python中使用pymongo操作mongodb

最近在学习Python爬虫,平常将爬取的数据都存入Excel表格中,但是当数据量大的时候存取和查、删、改就不方便了,这时数据库就是你很好的选择了(其实我就是觉得使用Excel好low而已),在学习的过...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

读取Excel表格数据存入mongodb数据库

@Test public void readExcel() throws IOException, BiffException { // 读取xls文件 InputStream ins...

MongoDB中的数据导出为excel CSV 文件

1、打开命令行,进入我们所安装的mongodb路径下的bin文件夹 2、我们采用bin文件夹下的mongoexport方法进行导出, mongoexport -d myDB...

从Excel导出数据到MongoDB的实践

使用Apache POI,在Java环境下,从Excel导出数据到MongoDB的实践。其中,数据表列的定义不固定。
  • xiaoyw
  • xiaoyw
  • 2016-05-13 13:14
  • 2251

将.xlsx和.sql文件导入mongodb

上一篇文章是将mongodb的数据导入mysql,这篇文章是它的逆过程。 一、将.xlsx文件导入mongodb中 同样,这里用到了mongoimport工具,由于它只能到如json和csv格式,先要...

excel数据批量导入mongodb数据库

数据导入数据库的工作经常会遇到,这篇博文我们介绍一下如何通过命令将excel中的数据批量导入到非关系型数据库mongodb中。

python 导出mongoDB数据中的数据

import pymongo,urllib import sys import time import datetime reload(sys) sys.setdefaultencoding('utf...

C#开发学习笔记:C#利用代码导入Excel数据

C#开发学习笔记:C#利用代码导入Excel数据

MongoDB 学习笔记(五):固定集合、GridFS文件系统与服务器端脚本

一、count、distinct与group 1、count函数:查询文档数,如下图: 2、distinct:去重,用法:db.runCommand({distinct:"集合名", key:...
  • cdu09
  • cdu09
  • 2013-10-13 15:59
  • 1123
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)