感谢mysql大师波多老师、GV大师伟嘉在这个问题上对我的帮助和启发,感谢!
以下是本人在使用python-sqlalchemy时遇到的问题,如果使用原生mysql语句同样需注意这个问题。
报错
OperationalError: (_mysql_exceptions.OperationalError) (1055, "Expression #1 of
SELECT list is not in GROUP BY clause and contains nonaggregated column
'db.table.create_time' which is not functionally dependent on columns in
GROUP BY clause; this is incompatible with sql_mode=only_full_group_by") [SQL:
u'SELECT table.create_time AS table_create_time, table.count AS
table_count \nFROM table \nWHERE table.cluster_id = %s AND
table.create_time > %s GROUP BY table.count'] [parameters: (1,
datetime.datetime(2000, 1, 1, 0, 0))]
原因:
mysql5.7.5版本开始,sql_mode使用的是默认值( 如下),而之前使用的mysql配置文件中sql_mode="",由于这个特性使在使用group_by时出现报错,以下是新版的默认值:
sql_mode默认值
默认的sql-mode里的ONLY_FULL_GROUP_BY字段导致不能直接查询group_by包裹的之外的字段,如下使用,只查询group_by的字段可以正常使用,但是同时查询create_time和count字段会出现错误:
# 正确
session.query(Table.count).group_by(Table.count).all()
# 报错
session.query(Table.create_time,Table.count).group_by(Table.count).all()
解决办法:
修改sql_mode
如设置:sql_mode=""
问题解决,但是由于sql_mode=""会带来可以预估的错误,如数据被截断等,所以这种方法有数据丢失的风险。
程序中改变查询语句的写法,group_by之外的字段使用func函数包围
为了符合ONLY_FULL_GROUP_BY=True的要求,如下:
参考
那么使用方法2,程序中正确的写法示例如下:
from sqlalchemy import func
# 1. 注意:这样生成的数据结果为[(),()],列表中的结果是元组,而不是生成器,
# 如果要对结果进行解析,解析方式也跟原来的方式不一样
objs= session.query(func.any_value(Table.create_time,Table.count).
group_by(Table.count).all()
# 2. 但是如果在这样的写法中只需要使用count字段,写成obj.count是可以的
obj= session.query(func.any_value(Table.create_time,Table.count).
group_by(Table.count).first()
以下为sql_mode常用值的含义,参考自这里:
ONLY_FULL_GROUP_BY:对于GROUP BY聚合操作,如果在SELECT中的列,没有在GROUP BY中出现,那么这个SQL是不合法的,因为列不在GROUP BY从句中
NO_AUTO_VALUE_ON_ZERO:该值影响自增长列的插入。默认设置下,插入0或NULL代表生成下一个自增长值。如果用户希望插入的值为0,而该列又是自增长的,那么这个选项就有用了。
STRICT_TRANS_TABLES:在该模式下,如果一个值不能插入到一个事务表中,则中断当前的操作,对非事务表不做限制
NO_ZERO_IN_DATE:在严格模式下,不允许日期和月份为零
NO_ZERO_DATE:设置该值,mysql数据库不允许插入零日期,插入零日期会抛出错误而不是警告。
ERROR_FOR_DIVISION_BY_ZERO:在INSERT或UPDATE过程中,如果数据被零除,则产生错误而非警告。如果未给出该模式,那么数据被零除时MySQL返回NULL
NO_AUTO_CREATE_USER:禁止GRANT创建密码为空的用户
NO_ENGINE_SUBSTITUTION:如果需要的存储引擎被禁用或未编译,那么抛出错误。不设置此值时,用默认的存储引擎替代,并抛出一个异常
PIPES_AS_CONCAT:将”||”视为字符串的连接操作符而非或运算符,这和Oracle数据库是一样的,也和字符串的拼接函数Concat相类似