使用Python3和Golang对MYSQL进行操作

Python操作mysql

python3需要使用的第三方包：pymysql、sqlalchemy

概念性的东西不多介绍，有想了解的推荐一篇博文：SQLAlchemy - 简书

下面给出了一个简单的实例：

from sqlalchemy import create_engine, Column, BIGINT, DateTime, String, Integer
from sqlalchemy.orm import sessionmaker
from sqlalchemy.ext.declarative import declarative_base
from datetime import datetime

sqlUser = 'root'
sqlPass = '123'
sqlName = 'wz'
sqlHost = '127.0.0.1'
sqlPort = '3306'
sqlTable = 'hbasetable'

# 创建对象的基类
Base = declarative_base()


class HbaseTable(Base):  # 定义与表格对应的类，表与结构的名称均与mysql中一致
    # 表的名称
    __tablename__ = sqlTable
    # 表的结构
    id = Column(Integer(), nullable=False, primary_key=True)
    name = Column(String(20), nullable=False, unique=True)
    space = Column(String(20), nullable=False)
    size = Column(BIGINT(), nullable=False)
    increment = Column(BIGINT(), nullable=False)
    renewtime = Column(DateTime, nullable=False)
    status = Column(Integer(), nullable=False)



# 'mysql+pymysql://[账号]:[密码]@[主机]:[端口]/[数据库]？charset=utf8'  注意格式
url = 'mysql+pymysql://{0}:{1}@{2}:{3}/{4}?charset=utf8'.format(sqlUser,
                                                                 sqlPass,
                                                                 sqlHost,
                                                                 sqlPort,
                                                                 sqlName)

# pool_size为连接池最大连接数，pool_recycle为每隔多少毫秒重置一次连接
engine = create_engine(url, pool_size=5, pool_recycle=120, echo=False, encoding='utf-8')
sessionClass = sessionmaker(bind=engine)

# 创建session对象，此时已绑定数据库引擎，但是未关联任何的对象模型
sessionObj = sessionClass()

ob = HbaseTable(name='bd001', space='dev', size=1024,   # 创建新的数据
                increment=0, renewtime=datetime.now(),
                status=0)

try:
    sessionObj.add(ob)  # 将新的数据添加到session
    sessionObj.commit()  # 将数据写入数据库
except Exception as e:
    print(e)
    exit(1)
sessionObj.close()

数据的增、删、查、改：

新增数据：

# 实例化一个新的数据
newInfo = HbaseTable(......)

# 将新的数据写入session
session.add(newInfo)
# 将数据写入数据库，add后一定要记得commit
session.commit()



# 一次性添加多条数据
Infos = [HbaseTable(...), HbaseTable(...), HbaseTable(...)]
session.add_all(Infos)
session.commit()

查询数据：

查询语句主要使用query加filter方法：

如果是query(HbaseTable)其中传入的是类名，那么将返回与对应的类对象

如果是query(HbaseTable.name, HbaseTable.size)其中传入的是类中的元素，将返回包含这些元素的元组对象

其中order_by()表示对返回的结果进行排序，desc()表示降序，asc()表示升序。

# 查询语句最后可跟first(),one(),all()等，但千万不能漏，漏了就不能正常返回数据了
results = session.query(HbaseTable).filter(HbaseTable.name == key).all()
# 查询后降序返回
results = session.query(HbaseTable).filter(HbaseTable.id < 10).order_by(HbaseTable.id.desc()).all()


# 返回的results是一个列表，列表的每一个元素是个query，如果没找到就返回一个空的列表
# 如果使用了first或者one()返回的就是一个query
for i in results:
    print(i)

修改数据：

如果更新中报错 Could not evaluate current criteria in Python: "Cannot evaluate clauselist with operator 那需要在update方法中设置synchronize_session字段，具体可查询：会话基础 — SQLAlchemy 1.4 Documentation

# 更新数据通过查询后接update来实现，其中将要更新的参数信息用字典的形式传入
session.query(HbaseTable).filter(HbaseTble.name = key).update({'name': 'wz',
                                                               'size': 456,
                                                               'status': 1})
# 只要涉及更改数据库内容的一定要记得commit
session.commit()

注意，这里有个坑，如果你是先提前query然后在update会出现死锁的情况"lock wait timeout"，如果先用query查过了，那么直接使用查询的结果直接更新即可，例如：

# 先查询
results = session.query(HbaseTable).filter(HbaseTable.name == key).all()

# 断言查询的结果唯一
assert len(results) == 1

# 更新数据
res = results[0]
res.name = "wz"
res.size = 456
res.status = 1

session.commit()

删除数据：

# 删除数据只要在查询语句后加上delete即可
session.query(HbaseTable).filter(HbaseTble.name = key).delete()
# 只要涉及更改数据库内容的一定要记得commit
session.commit()

也可以先查询，再选择性删除：

# 获取查询数据
res = session.query(HbaseTable).filter(HbaseTble.name = key).all()

# 可以自己先筛选下再删除
for info in res:
    session.delete(info)

# 只要涉及更改数据库内容的一定要记得commit
session.commit()

执行原生语句：

from sqlalchemy.sql import text

sql_txt = "SELECT * FROM hbase_tabel WHERE name=:name ORDER BY size;"
results = session.query(HbaseTable).from_statement(text(sql_txt)).params(name="wz").all()

# or
results = session.execute("SELECT * FROM hbase_tabel WHERE name='wz' ORDER BY size;").fetchall()

回滚（如果在执行过程中出现了错误，一般需要回滚）：

session.rollback()

Golang操作mysql

go需要安装的第三方库：GORM

下面给出了一个简单的操作案例，GORM的详细文件请参考官方文档：JasperXu's 笔记本

package main

import (
	"fmt"
	"github.com/jinzhu/gorm"
	_"github.com/jinzhu/gorm/dialects/mysql"
	"time"
)

// 结构体中的元素首字母一定要大写，后面tag中的Column名称是与mysql表格中名称相对应的
type Table struct {  
	Id int `gorm:"Column:id;primary_key;AUTO_INCREMENT;"`
	Name string `gorm:"Column:name;type:varchar(128);not null;"`
	Value int `gorm:"Column:value;not null;"`
	Birthday time.Time `gorm:"Column:birthday;type:datetime;not null;"`
}


func main(){
	sqlUser = "root"
	sqlPwd = "root"
	sqlBase = "wz"
	sqlUrl = "10.2.12.126:3306"
	sqlTable = "goods"
	sqlArg = fmt.Sprintf("%s:%s@(%s)/%s?charset=utf8&parseTime=True&loc=Local", sqlUser, sqlPwd, sqlUrl, sqlBase)

	Db, err := gorm.Open("mysql", sqlArg)
	if err != nil {
		fmt.Println(err)
		return
	}
	defer Db.Close()

	// 若不设置该参数，gorm会把表名的大写全部改成小写，并在末尾加个s，导致找不到表格
	Db.SingularTable(true)

	err = Db.DB.Ping()
	if err != nil{
		fmt.Println(err)
		return
	}

	// 创建新数据
	goods1 := Table{Name:"hamlet", Value:123, Birthday:time.Now()}
	// 写入数据库
	db.Table(sqlTable).Create(&goods1)

}

数据的增、删、查、改：（在使用GORM操作数据库时建议使用DB.Table("tablename")开头去指定具体操作的表格，否则可能会遇到坑）

新增数据：

// 创建新数据
goods1 := Table{Name:"hamlet", Value:123, Birthday:time.Now()}
// 写入数据库
Db.Table(sqlTable).Create(&goods1)

查询数据：

var goodsSet []Table
Db.Table(sqlTable).Where("id > ? AND vaule <= ?", 20, 100).Find(&goodsSet)

更新数据：

Db.Table(sqlTable).Where("name = ?", "wz").Update("birthday", time.Now())

删除数据：

Db.Table(sqlTable).Where("name in (?)", []string{"wz", "zw"}).Delete(Table{})

这里提供的都是些很基础的操作，如果需要更高级的操作可以自己去查询文档。