pycharm操作MySQL

下载安装
pip3 install pymysql

执行SQL

	#!/usr/bin/env python
	# -*- coding:utf-8 -*-
	import pymysql
	# 创建连接
	conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
	# 创建游标
	cursor = conn.cursor()
	# 执行SQL，并返回受影响行数
	effect_row = cursor.execute("update hosts set host = '1.1.1.2'")
	# 执行SQL，并返回受影响行数
	effect_row = cursor.execute("update hosts set host = '1.1.1.2' where nid > %s", (1,))
	# 执行SQL，并返回受影响行数
	effect_row = cursor.executemany("insert into hosts(host,color_id)values(%s,%s)", [("1.1.1.11",1),("1.1.1.11",2)])
	# 提交，不然无法保存新建或者修改的数据
	conn.commit()
	# 关闭游标
	cursor.close()
	# 关闭连接
	conn.close()

获取查询数据

	#!/usr/bin/env python
	# -*- coding:utf-8 -*-
	import pymysql
	conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
	cursor = conn.cursor()
	cursor.execute("select * from hosts")
	# 获取第一行数据
	row_1 = cursor.fetchone()
	# 获取前3行数据
	row_2 = cursor.fetchmany(3)
	# 获取所有数据
	row_3 = cursor.fetchall() # 返回元组类型
	conn.commit()
	cursor.close()
	conn.close()

关于默认获取的数据是元组类型，如果想要获取字典类型的数据

	#!/usr/bin/env python
	# -*- coding:utf-8 -*-
	import pymysql
	conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
	# 游标设置为字典类型
	cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
	r = cursor.execute("select * from hosts")
	result = cursor.fetchone()
	conn.commit()
	cursor.close()
	conn.close()

视图

视图是一个虚拟表（非真实存在），其本质是根据SQL语句获取动态的数据集，并为其命名,用户使用时只需使用[名称]即可获取结果集，并可以将其当作表来使用。

创建

CREATE VIEW v1 AS 
SELET nid, name
FROM A
WHERE nid > 4

删除

DROP VIEW v1

修改

ALTER VIEW v1 AS 
SELET A.nid,B. NAME FROM A
LEFT JOIN B ON A.id = B.nid
LEFT JOIN C ON A.id = C.nid
WHERE A.id > 2 AND C.nid < 5

使用

select * from v1

存储过程

SQL语句需要先编译然后执行，而存储过程是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数来调用执行它。

创建存储过程

delimiter //
create procedure p1()
BEGIN
    select * from t1;
END//
delimiter ;

执行存储过程
call p1()
p1---- select * from t1
mysql客户端，只需要输入call p1()，就会返回结果。
对于存储过程，可以接收参数，其参数有三类：

in          仅用于传入参数用
out        仅用于返回值用
inout     既可以传入又可以当作返回值

有参数的

创建存储过程

delimiter $$
create procedure p1(
    in i1 int,
    in i2 int,
    inout i3 int,
    out r1 int
)
BEGIN
    DECLARE temp1 int;
    DECLARE temp2 int default 0;
    set temp1 = 1;#变量赋值
    set r1 = i1 + i2 + temp1 + temp2; # 4
    set i3 = i3 + 100; # 104
end$$
delimiter ;

执行存储过程

set @t1 =4;
set @t2 = 0;# 默认
CALL p1 (1, 2 ,@t1, @t2);
SELECT @t1,@t2;

删除：

drop procedure proc_name;

pycharm执行调用

import pymysql
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
# 执行存储过程
cursor.callproc('p1', args=(1, 22, 3, 4))
# 获取执行完存储的参数
cursor.execute("select @_p1_0,@_p1_1,@_p1_2,@_p1_3")
result = cursor.fetchall()
conn.commit()
cursor.close()
conn.close()
print(result)

触发器

插入前触发

CREATE TRIGGER tri_before_insert_tb1 BEFORE INSERT ON tb1 FOR EACH ROW
BEGIN
    OLD:
        gender ,class_id,sname
    insert into tb3(caption)values(OLD.sname)
END

new是新插入的数据，old是原来的数据

插入后触发

CREATE TRIGGER tri_after_insert_tb1 AFTER INSERT ON tb1 FOR EACH ROW
BEGIN
    insert into t_log values(null,NOW(),'在book表里删除了一条数据');
END

删除前触发

CREATE TRIGGER tri_before_delete_tb1 BEFORE DELETE ON tb1 FOR EACH ROW
BEGIN
    delete from t_test where old.bookTypeId = t_test.id;
END

删除后触发

CREATE TRIGGER tri_after_delete_tb1 AFTER DELETE ON tb1 FOR EACH ROW
BEGIN
     delete from t_test where old.bookTypeId = t_test.id;
END

更新前触发

CREATE TRIGGER tri_before_update_tb1 BEFORE UPDATE ON tb1 FOR EACH ROW
BEGIN
     update t_bookType set bookNum = bookNum-1 where old.bookTypeId=t_booktype.id;
END

更新后触发

CREATE TRIGGER tri_after_update_tb1 AFTER UPDATE ON tb1 FOR EACH ROW
BEGIN
    update t_bookType set bookNum = bookNum-1 where old.bookTypeId=t_booktype.id;
END

插入前触发器

delimiter //
CREATE TRIGGER tri_before_insert_tb1 BEFORE INSERT ON tb1 FOR EACH ROW
BEGIN
	IF NEW. NAME == 'ala' THEN
	    INSERT INTO tb2 (NAME)
	VALUES
	    ('aa')
END
END//
delimiter ;

插入后触发器

delimiter //
CREATE TRIGGER tri_after_insert_tb1 AFTER INSERT ON tb1 FOR EACH ROW
BEGIN
    IF NEW. num = 666 THEN
        INSERT INTO tb2 (NAME)
        VALUES ('666'),('666') ;
    ELSEIF NEW. num = 555 THEN
        INSERT INTO tb2 (NAME)
        VALUES ('555'), ('555') ;
    END IF;
END//
delimiter ;

删除触发器：
DROP TRIGGER tri_after_insert_tb1;

使用触发器：
insert into tb1(num) values(666)

函数

定义函数

delimiter \\
create function f1(i1 int,i2 int)
returns int
BEGIN
    declare num int;
    set num = i1 + i2;
    return(num);
END \\
delimiter ;

returns 返回值的类型

删除

drop function func_name;

执行获取返回值

declare @i VARCHAR(32);
select UPPER('ala') into @i;
SELECT @i;

在查询中使用
select f1(11,nid),name from tb2;

索引
name列建立索引，会创建一个文件（真实表中当前行数据在硬盘中的位置），将name列所有数据拿出来，转为数字name=‘ele’ > 6 # 找4次 name=‘tony’ > 66 # 3 存储形式：二叉树 B-tree hash
MySQL中常见索引：
普通索引
唯一索引
主键索引
组合索引

普通索引：普通索引仅有加速查询的功能

create table in1(
     nid int not null auto_increment primary key,
     name varchar(32) not null,
     email varchar(64) not null,
     extra text,
     index ix_name (name)
 )
     create index index_name on table_name(column_name)
     drop index_name on table_name;
     show index from table_name;

对于创建索引时如果是BLOB 和 TEXT 类型，必须指定length。

create index ix_extra on in1(extra(32));

唯一索引：加速查询和唯一约束（可含null）

create table in1(
	nid int not null auto_increment primary key,
	name varchar(32) not null,
	email varchar(64) not null,
	extra text,
	unique ix_name (name)
)
create unique index 索引名 on 表名(列名)
drop unique index 索引名 on 表名

主键：加速查询 和 唯一约束（不可含null）

create table in1(
    nid int not null auto_increment primary key,
    name varchar(32) not null,
    email varchar(64) not null,
    extra text,
    index ix_name (name)
)
alter table in1 add primary key(nid);
alter table in1 drop primary key;
alter table in1 modify nid int, drop primary key;

create table in1(
    nid int not null auto_increment,
    name varchar(32) not null,
    email varchar(64) not null,
    extra text,
    primary key(ni1),
    index ix_name (name)
)

组合索引：将n个列组合成一个索引

其应用场景为：频繁的同时使用n列来进行查询，如：where n1 = ‘ala’ and n2 = 666。

create table in3(
    nid int not null auto_increment primary key,
    name varchar(32) not null,
    email varchar(64) not null,
    extra text
)
create index ix_name_email on in3(name,email);

普通组合索引： 无约束
联合唯一索引： 两列数据同时不相同，才能插入，不然报错

查找：最左匹配

select * from tb1 where name = 'ala'
select * from tb1 where name = 'ala' and pwd='123' #先去索引中找，再去数据表找
select * from tb1 where pwd='123'  # 不走索引

覆盖索引
select nid from tb where nid < 10 # 去索引中找不用去数据表中操作，为覆盖索引。只需要在索引表中就能获取到数据

合并索引

nid   name(单独索引)    email（单独索引）
select * from tb where name='ala'
select * from tb where email='ala714@163.com'
select * from tb where name='ala' or email='ala714@163.com'

执行计划 - 相对比较准确表达出当前SQL运行状况。是否走索引或者不走索引
explain SQL语句 ALL、Index，都是有优化的余地
type： ALL - 全数据表扫描
type： index - 全索引表扫描

查询时的访问方式性能：all < index < range < index_merge < ref_or_null < ref < eq_ref < system/const

ALL表扫描，对于数据表从头到尾找一遍
select * from tb1;
特别的：如果有limit限制，则找到之后就不在继续向下扫描

select * from tb1 where email = 'seven@live.com'
select * from tb1 where email = 'seven@live.com' limit 1;

虽然上述两个语句都会进行全表扫描，第二句使用了limit，则找到一个后就不再继续扫描。

INDEX全索引扫描，对索引从头到尾找一遍
select nid from tb1;

RANGE对索引列进行范围查找
select * from tb1 where name < ‘ala’;
between and in > >= < <= 操作
注意：!= 和 > 符号

INDEX_MERGE合并索引，使用多个单列索引搜索
select * from tb1 where name = ‘ala’ or nid in (11,22,33);

REF 根据索引查找一个或多个值
select * from tb1 where name = ‘seven’;

EQ_REF，连接时使用primary key 或 unique类型
select tb2.nid,tb1.name from tb2 left join tb1 on tb2.nid = tb1.nid;

CONST，常量表最多有一个匹配行,因为仅有一行,在这行的列值可被优化器剩余部分认为是常数,const表很快,因为它们只读取一次。
select nid from tb1 where nid = 2 ;

SYSTEM，系统
表仅有一行(系统表)。这是const联接类型的一个特例。
select * from (select nid from tb1 where nid = 1) as A;

其他注意事项
- 避免使用select *
- count(1)或count(列) 代替 count(*)
- 创建表时尽量 char 代替 varchar
- 表的字段顺序固定长度的字段优先
- 组合索引代替多个单列索引（经常使用多个条件查询时）
- 尽量使用短索引（指定列的前几个字符）
- 使用连接（JOIN）来代替子查询(Sub-Queries)
- 连表时注意条件类型需一致
- 索引散列值（重复多）不适合建索引，例：性别不适合

正确使用索引
- like '%xx’
select * from tb1 where name like ‘%cn’;
- 使用函数
select * from tb1 where reverse(name) = ‘wup’;
select * from tb1 where nid = 1 or reverse(email) = ‘seven@live.com’;
当or条件中有未建立索引的列才失效
- 类型不一致
如果列是字符串类型，传入条件是必须用引号引起来
select * from tb1 where name = 999;
- !=
select * from tb1 where name != ‘ala’
如果是主键，则还是会走索引
select * from tb1 where nid != 123
- >
select * from tb1 where name > ‘ala’
特别的：如果是主键或索引是整数类型，则还是会走索引
select * from tb1 where nid > 123
- order by
select email from tb1 order by name desc;
当根据索引排序时候，选择的映射如果不是索引，则不走索引
特别的：如果对主键排序，则还是走索引：
select * from tb1 order by nid desc;
- 组合索引最左前缀
如果组合索引为：(name,email)
name and email – 使用索引
name – 使用索引
email – 不使用索引

limit（遇到索引中断的，我们将上一次的最后一个位置传给下一次的开头）
select * from tb1 where email=‘123’
select * from tb1 where email=‘123’ limit 1;

if语句

delimiter \\
CREATE PROCEDURE proc_if ()
BEGIN
    declare i int default 0;
    if i = 1 THEN
        SELECT 1;
    ELSEIF i = 2 THEN
        SELECT 2;
    ELSE
        SELECT 7;
    END IF;
END\\
delimiter ;

while语句

delimiter \\
CREATE PROCEDURE proc_while ()
BEGIN
    DECLARE num INT ;
    SET num = 0 ;
    WHILE num < 10 DO
        SELECT
            num ;
        SET num = num + 1 ;
    END WHILE ;
END\\
delimiter ;

repeat语句

delimiter \\
CREATE PROCEDURE proc_repeat ()
BEGIN
    DECLARE i INT ;
    SET i = 0 ;
    repeat
        select i;
        set i = i + 1;
        until i >= 5
    end repeat;
END\\
delimiter ;

loop语句

declare i int default 0;
loop_label: loop
    set i=i+1;
    if i<8 then
        iterate loop_label;
    end if;
    if i>=10 then
        leave loop_label;
    end if;
    select i;
end loop loop_label;
END

动态执行SQL语句

delimiter \\
DROP PROCEDURE IF EXISTS proc_sql \\
CREATE PROCEDURE proc_sql ()
BEGIN
    declare p1 int;
    set p1 = 11;
    set @p1 = p1;
    
    PREPARE prod FROM 'select * from tb2 where nid > ?';
    EXECUTE prod USING @p1;
    DEALLOCATE prepare prod; 
END\\
delimiter ;

事务

事务用于将某些操作的多个SQL作为原子性操作，一旦有某一个出现错误，即可回滚到原来的状态，从而保证数据库数据完整性。

delimiter \\
create PROCEDURE p1(
    OUT p_return_code tinyint
)
BEGIN 
    DECLARE exit handler for sqlexception 
	BEGIN 
	   -- ERROR 
	   set p_return_code = 1; 
	   rollback; 
	END; 
	
	DECLARE exit handler for sqlwarning 
	BEGIN 
	   -- WARNING 
	   set p_return_code = 2; 
	   rollback; 
	END; 
	
	START TRANSACTION; # 开始事务，错误时执行sqlexception
	  DELETE from tb1;
	  insert into tb2(name)values('seven');
	COMMIT; 
	
	-- SUCCESS 
	set p_return_code = 0; 
	
END\\
delimiter ;

set @i =0;
call p1(@i);
select @i;

防止sql注入：在写入复杂aql语句的时候会出错

cursor.callproc('p1', 'select * from XXX where nid >?',13) # 这里使用问号
cursor.excute('select * from XXX where nid >%s',13)

存储过程

import pymysql
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='666', db='sqlexample', charset='utf8')
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
# 执行存储过程,获取存储过程的结果集，将返回值设置给了  @_存储过程名_序号 =
r1 = cursor.callproc('p11', args=(1, 22, 3, 4))
# set @_p11_0 = 1
# set @_p11_1 = 22
# set @_p11_2 = 3
# set @_p11_3 = 4
# call p11(1, 22, 3, 4)
print(r1)
result1 = cursor.fetchall()
print(result1)

# 获取执行完存储的参数
r2 = cursor.execute("select @_p11_0,@_p11_1,@_p11_2,@_p11_3")
print(r2)
result2 = cursor.fetchall()
print(result2)
conn.commit()
cursor.close()
conn.close()

函数

def func(arg):
    return arg + 100
select nid from student # 1,2,3,4,5,6...
select func(nid) from student# 101,102,103,104
select func(1)# 101

mysql内置函数

CHAR_LENGTH(str)
返回值为字符串str 的长度，长度的单位为字符。一个多字节字符算作一个单字符。对于一个包含五个二字节字符集, LENGTH()返回值为 10, 而CHAR_LENGTH()的返回值为5。

CONCAT(str1,str2,...)
字符串拼接。如有任何一个参数为NULL ，则返回值为 NULL。

CONCAT_WS(separator,str1,str2,...)
字符串拼接（自定义连接符）。CONCAT_WS()不会忽略任何空字符串。 (然而会忽略所有的 NULL）。

CONV(N,from_base,to_base)
进制转换。SELECT CONV('a',16,2);表示将 a 由16进制转换为2进制字符串表示

FORMAT(X,D)
将数字X的格式以四舍五入的方式保留小数点后 D 位，并将结果以字符串的形式返回。若 D 为 0, 则返回结果不带有小数点，SELECT FORMAT(12332.1,4); 结果为： ‘12,332.1000’

INSERT(str,pos,len,newstr)
在str的指定位置插入字符串
pos：要替换位置起始位置
len：替换的长度
newstr：新字符串
如果pos超过原字符串长度，则返回原字符串
如果len超过原字符串长度，则由新字符串完全替换

INSTR(str,substr)
返回字符串 str 中子字符串的第一次出现位置。

LEFT(str,len)
返回字符串str 从开始的len位置的子序列字符。

LOWER(str)
变小写

UPPER(str)
变大写

LTRIM(str)
返回字符串 str，移除左边空白

RTRIM(str)
返回字符串 str ，结尾空格字符被删去。

SUBSTRING(str,pos,len)
获取字符串子序列

LOCATE(substr,str,pos)
pos起始位置，获取子序列索引位置

REPEAT(str,count)
返回一个由重复的字符串str 组成的字符串，字符串str的数目等于count 。
若 count <= 0,则返回一个空字符串。若str 或 count 为 NULL，则返回 NULL 。

REPLACE(str,from_str,to_str)
返回字符串str 以及所有被字符串to_str替代的字符串from_str 。

REVERSE(str)
返回字符串 str ，顺序和字符顺序相反。

RIGHT(str,len)
从字符串str 开始，返回从后边开始len个字符组成的子序列

SPACE(N)
返回一个由N空格组成的字符串。

SUBSTRING(str,pos) SUBSTRING(str,pos,len)
不带有len 参数的格式从字符串str返回一个子字符串，起始于位置 pos。
带有len参数的格式从字符串str返回一个长度同len字符相同的子字符串，起始于位置 pos。

mysql> SELECT SUBSTRING('Quadratically',5);
    -> 'ratically'

mysql> SELECT SUBSTRING('foobarbar' FROM 4);
    -> 'barbar'

mysql> SELECT SUBSTRING('Quadratically',5,6);
    -> 'ratica'

mysql> SELECT SUBSTRING('Sakila', -3);
    -> 'ila'

mysql> SELECT SUBSTRING('Sakila', -5, 3);
    -> 'aki'

mysql> SELECT SUBSTRING('Sakila' FROM -4 FOR 2);
    -> 'ki'

TRIM([{BOTH | LEADING | TRAILING} [remstr] FROM] str)
返回字符串 str，其中所有remstr前缀和后缀都已被删除。若分类符BOTH、LEADIN或TRAILING中没有一个是给定的，则假设为BOTH 。 remstr 为可选项，在未指定情况下，可删除空格。

mysql> SELECT TRIM('  bar   ');
     -> 'bar'

mysql> SELECT TRIM(LEADING 'x' FROM 'xxxbarxxx');
     -> 'barxxx'

mysql> SELECT TRIM(BOTH 'x' FROM 'xxxbarxxx');
     -> 'bar'

mysql> SELECT TRIM(TRAILING 'xyz' FROM 'barxxyz');
     -> 'barx'

慢SQL日志
配置MySQL自动记录慢日志

slow_query_log = OFF                # 是否开启慢日志记录
long_query_time = 2                 # 时间限制，超过此时间，则记录
slow_query_log_file = /usr/slow.log # 日志文件
log_queries_not_using_indexes = OFF # 未使用索引的搜索是否记录

– verbose 版本
– debug 调试
– help 帮助
– v 版本
– d 调试模式
– s ORDER 排序方式

sort by (al, at, ar, c, l, r, t), 'at' is default
al: average lock time
ar: average rows sent
at: average query time
c: count
l: lock time
r: rows sent
t: query time

–r 反转顺序，reverse the sort order (largest last instead of first)
–t NUM 显示前N条just show the top n queries
–a 不要将SQL中数字转换成N，字符串转换成S。
–n NUM abstract numbers with at least n digits within names
–g PATTERN 正则匹配；grep: only consider statements that include this string
–h HOSTNAME mysql机器名或者IP；
–i NAME name of server instance (if using mysql.server startup script)
–l 总时间中不减去锁定时间；

def sqlexec(last_nid, is_next):
	import pymysql
	conn = pymysql.connect(host='192.168.12.29', port=3306, user='root', passwd='123', db='IndexDB', charset='utf8')
	cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
	# 执行存储过程,获取存储过程的结果集，将返回值设置给了@_存储过程名_序号 =
	if is_next:
	    cursor.execute('select * from tb1 where nid>%s limit 10',last_nid)
	    result = cursor.fetchall()
	else:
	    cursor.execute('select * from tb1 where nid<%s order by nid desc limit 10', last_nid)
	    result = cursor.fetchall()
	    result = list(reversed(result))
	
	conn.commit()
	cursor.close()
	conn.close()
	return result

current_last_nid = 0
current__nid = 0
while True:
	p = input('1、上一页; 2、下一页\n')
	if p == '2':
	    # 点击下一页
	    is_next = True
	    ret = sqlexec(current_last_nid= is_next)
	else:
	    is_next = False
	    ret = sqlexec(current_first_nid, is_next)
	
	current_first_nid = ret[0]['nid']
	current_last_nid = ret[-1]['nid']
	for i in ret:
	    print(i)