数据库
Marvin Ming
目前在国企研究院做软件研发项目,擅长Python,爬虫、数据分析、软件开发和后端均有涉猎。
关于博客文章有任何问题请留言,我会不定期回复,欢迎交流,但百度10分钟内能够解决的问题不会回复。
其他问题可通过邮箱联系:constmmq@163.com。
展开
-
python进行mongodb-gridfs去重
说明由于最开始抓取数据时,出于疏忽,将图片数据存入mongodb时查询图片是否已存在这部分代码出错,导致mongodb中存在大量重复的图片,因此需要对数据库进行去重操作。 而我采用了mongodb提供的GridFS功能来管理图片,与一般的文档去重有所区别,因此经过尝试和摸索后,得到如下解决方案,效率较低,但能有效解决问题。代码#-*-coding:utf-8-*-from py原创 2018-01-27 23:03:42 · 2200 阅读 · 0 评论 -
python2.7+mongo3.0+gridfs从mongodb下载图片及属性数据
本机环境:ubuntu14.04,python2.7,mongodb3.0 图片数据在服务器上,但是服务器的mongodb版本比较低,未设置密码,最新版的mongodb不能直接连接,因此在本机上将mongodb降到了3.0版本(此时最新版为3.4)。mongodb上最大文件内存限制为16M,不能直接存储大于16M的文件,需要通过gridfs来进行存取,因此很多图片只能通过这种方式进行保存,因此本原创 2017-10-20 11:45:02 · 1816 阅读 · 0 评论 -
python利用mongodb上传图片数据 : GridFS 与 bson两种方式
利用mongodb保存图片通常有两种方法,一种是将图片数据转化为二进制作为字典的键值对进行保存,另一种是利用mongodb提供的GridFS进行保存,两者各有利弊。性能方面的优劣未曾测试,无法进行评价,此处仅对两种方式进行介绍,若有彻知者还望指教。 下面以如下数据作为示例进行介绍: 数据示例dic = { "owner_name" : "samssmilin", "ph原创 2018-02-06 15:53:01 · 7523 阅读 · 2 评论 -
mongodb重命名数据库及常用mongodb命令
由于工作需要想要更改数据库名称,为其赋予一个更易与理解的名字,由于已存储数据较多,重新转存效率较低,遂打算直接修改数据库名称。 经过查阅官网内容、社区、博客,发现mongodb未提供直接修改数据库名称的方法,社区中有人說可以通过重命名collection的方法间接实现目的。步骤如下:# 首先进入mongodbuse yourdbnameuse admin #使用管理员权限d原创 2018-02-06 12:35:12 · 10050 阅读 · 0 评论 -
python下上传/下载各种格式文件到MongoDB数据库中
python中,支持通过GridFS使用MongoDB数据库提供的大文件存储功能,本文中通过这种方法将各种格式文件以二进制格式(测试了.pdf、.py格式文件)存入GridFS集合中。#-*-coding:utf-8-*-import osimport sysfrom gridfs import *from pymongo import MongoClientfrom datetime...原创 2019-07-24 17:21:54 · 2516 阅读 · 0 评论