mysql
一只快死的猿
接python外包和爬虫单子
展开
-
存储(三)OSS2存储,解决mysql索引指纹匹配慢的问题
背景: 在存储二中我模拟实现了低配的百度网盘,在指纹存储匹配实现的过程中根本就没有考虑到后期运行速度的问题(因为自己小白还没有什么实质性的经验),最近在使用的过程中发现运行的速度越来越慢,如果是这样的话,那么之后公司的后端存储用户量一旦大起来,存储频率高起来,那之前的努力就没有什么用处了。在正文开始之前先简单阐述下存储二中的实现逻辑:1、利用爬虫爬取某网站的图片url,模拟用户使用APP上传图片。2、再获取图片内容,然后做md5和sha1加密。3、把加密后的密文叫做指纹,指纹是唯一存在的,拿着指纹原创 2020-08-14 10:52:34 · 4100 阅读 · 0 评论 -
mysql数据插入时,数据不存在则插入,存在则更新或忽略
背景: 在数据库操作中,有这样一个场景:我们对一批数据进行存储,假如这批数据中有部分数据是重复的,可能是全部重复也可能是部分重复,存储的时候我们要把重复的数据合并。实例:create table store(ID int(8) auto_increment primary key,store_name varchar(255),store_href varchar(255) unique,credit_count int(4),albums_url varchar(120),phone v原创 2020-08-03 15:56:56 · 7796 阅读 · 0 评论 -
快速判断一条数据是否在数据库中
判断数据库总是否存在某一条数据方法有二:一、 获取数据库中所有的数据在进行判断,在用in判断是否在返回的结果中,这种方法类似于下面这种场景:s_list = [i for i in range(100000)]a = 9999if a in s_list: print(1)else: print(2)如果数据是少量的具有可行性,如果数据一旦打起来的话就会出现以下错误:最近大概要处理10亿条数据,于是模拟了10亿数据内存直接蹦了。二、 在查询语句上面做优化,我网上逛了一圈,原创 2020-07-31 16:21:30 · 11921 阅读 · 0 评论 -
存储(一):阿里云对象存储OSS2,python_SDK
有多种开发语言SDK,先上SDK连接:https://help.aliyun.com/document_detail/52834.html?spm=a2c4g.11186623.4.4.1efe585eCLlXR5前提:已开通OSS服务,已创建Accesskey。其他的就不多说了,连接文档里面的介绍和使用比我说的肯定要好太多了,我就分享一下我使用过程中遇到的一些坑和思想吧。首先说下安装问题,OSS Python SDK适用于Python 2.6、2.7、3.3、3.4、3.5、3.6版本,但是我服原创 2020-07-30 16:56:30 · 6976 阅读 · 0 评论 -
【解决】python连接mysql数据库过段时间就会断开pymysql.err.OperationalError
问题:1.python中的数据库连接没有长连接的概念,之前我就踩过这个坑:用最基础的连接方法连接mysql数据库,然后往数据库插入数据,过一会儿就报错了(错误的代码我忘了,后面有遇到场景再重现一下),大概的意思是数据库连接已断开。2.python基础连接方式进行数据库连接及增删改查操作,每次连接mysql请求时,都是独立的去请求访问,比较浪费资源,而且访问数量达到一定数量时,对mysql的性能会产生较大的影响。解决办法:问题1中如果不在意数据库性能的话最简单的就是简单预处理一下:try:原创 2020-07-30 15:12:46 · 13346 阅读 · 6 评论