最近在工作中处理数据,碰到的问题。
就是在查询股票历史数据的时候查询一只股票的日交易数据,由于在跑线程的时候没注意python写sql的时候没有带单引号。如下图所示:
然后就丢的服务器上定时跑任务,结果第二天早上发现数据没出来。然后悲剧了。就查找原因。一般数据量小了看不出来他们的差别。下面是这个表的数据量:
我先是把代码加上时间打印出来,分时间打印。跑出来的日志如下。
从图中可以看出查询数据占用了大量的时间,而计算几乎没用时间。于是我就把select语句复制到navicat中运行,下面是没带单引号的运行作用的时间:
然后我又将股票代码带上单引号进行运行。下面是截图
由俩副图可以看出,俩者运行查询速度相差10多秒。这是建立在900W数据的基础上测出来的。所以在进行字符串条件查询的时候一定要注意带上单引号。
不带单引号mysql会给你将数据库中的数据进行类型转换。这样就比较耗时间了。官方说明文档看下图:
敲黑板:1、在条件查询的时候按照字符类型进行查询,不要横跨太平洋进行跨字符类型查询。
2、对于数据量比较多的表尽量分表,建索引。