06.flask实现数据库的读写分离

迁移与数据库理论

数据库模型创建与数据库迁移

• 模型迁移与数据库迁移

  • 模型创建

    class Nav(db.Model):
        __tablename__ = 'nav'
      
        id = Column(Integer,primary_key=TrUE,autoincrement=True)
        name = Column(String(32),unique=True)
        channel = Column(String(64),unique=True)
        state = Column(SmallInteger,default=0)
        addtime = Column(BigInteger,default=0)
        
        
    class Content(db.Model):
        __tablename__ = 'content'
        
        id = Column(Integer,primary_key=TrUE,autoincrement=True)
        title = Column(String(32))
        content = Column(Text,default="")
        pic = Column(Text,default="") # [1,2,3,4,5,6,7,8,9,10]
        position = Column(String(32),default="right")
        state = Column(SmallInteger,default=0)
        addtime = Column(BigInteger,default=0)
        publish_id = Column(Integer,ForeignKey("publish.id"))
        nav_id = Column(Integer,ForeignKey("nav.id"))
        
    

  • 数据迁移

    # manage.py
    from flask_migrate import Migrate,MigrateCommand
    from flask_script import Manager
    from main import app
    from models import db
    
    # 实例化
    manager = Manager(app)
    migrate = Migrate(app,db)
    
    # 添加命令
    manager.add_command("db",MigrateCommand)
    
    # 启动
    if __name__ == '__main__':
        manager.run()
    

    python manage.py db init
    python manage.py db migrate
    python manage.py db upgrade
    

mysql数据库复制集

• 复制集的概念

  复制集是将数据库中的数据进行备份. 使用两个或两个以上相同的数据库, 将一个数据库当做主数据库, 而另一个数据库当做从数据库. 在主数据库中进行相应的操作, 从数据库记录下来所有主数据库的操作, 并执行使其二者保持一致.

• 读写分离

  在实际生产环境中, 对数据库的读和写都在同一个数据库服务器中, 往往是不能满足实际需求的. 无论是在安全性, 高可用性还是并发等方面都不能满足要求. 因此, 通过主从复制的方式来实现多个数据库的数据同步, 再通过读写分离来提升数据库的并发负载能力.

  二八原则

• mysql主从复制

  • 主从复制概念与应用场景

    主从复制，是用来建立一个和主数据库完全一样的数据库环境，称为从数据库；主数据库一般是准实时的业务数据库。

    1、架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，物理服务器增加，负荷增加。

    2、读写分离，使数据库能支撑更大的并发。主从只负责各自的写和读，极大程度的缓解X锁和S锁争用。在报表中尤其重要。由于部分报表sql语句非常的慢，导致锁表，影响前台服务。如果前台使用master，报表使用slave，那么报表sql将不会造成前台锁，保证了前台速度。

    3、做数据的热备，作为后备数据库，主数据库服务器故障后，可切换到从数据库继续工作，避免数据丢失。

  • 主从复制的实现步骤

  1. master服务器将数据的改变记录二进制binlog日志，当master上的数据发生改变时，则将其改变写入二进制日志中。
  2. slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/O Thread请求master二进制事件。
  3. 同时主节点为每个I/O线程启动一个dump线程，用于向其发送二进制事件，并保存至从节点本地的中继日志中，从节点将启动SQL线程从中继日志中读取二进制日志，在本地重放，使得其数据和主节点的保持一致
     

  步骤一：主库db的更新事件(update、insert、delete)被写到binlog

  步骤二：从库发起连接，连接到主库

  步骤三：此时主库创建一个binlog dump thread线程，把binlog的内容发送到从库

  步骤四：从库启动之后，创建一个I/O线程，读取主库传过来的binlog内容并写入到relay log.

  步骤五：还会创建一个SQL线程，从relay log里面读取内容，从Exec_Master_Log_Pos位置开始执行读取到的更新事件，将更新内容写入到slave的db.

• mysql主从复制实现

  • 主服务器配置文件修改配置

  • 创建主从账号

  • 进入从库, 开启主从复制

• flask基于mysql实现读写分离

  # 实现步骤
  1.自定义Session类
  2.重写get_bind方法
  3.根据self._flushing判断读写操作, 选择对应的数据库
  4.自定义SQLAlchemy类
  5.重写create_session, 在其中使用自定义的Session类
  

  from flask import Flask
  from flask_sqlalchemy import SQLAlchemy, SignallingSession, get_state
  from sqlalchemy import orm
  
  
  class RoutingSession(SignallingSession):
      def get_bind(self, mapper=None, clause=None):
          state = get_state(self.app)
  
          # 判断读写操作
          if self._flushing:  # 写操作 ,使用主数据库
              print("写入数据")
              return state.db.get_engine(self.app, bind='master')
          else:  # 读操作, 使用从数据库
              print('读取数据')
              return state.db.get_engine(self.app, bind='slave')
  
  
  class RoutingSQLAlchemy(SQLAlchemy):
      def create_session(self, options):
          return orm.sessionmaker(class_=RoutingSession, db=self, **options)
  
  
  app = Flask(__name__)
  # 设置数据库的连接地址
  app.config['SQLALCHEMY_DATABASE_URI'] = 'mysql://root:1234@10.211.55.6:3306/mstest'
  # 设置数据库的绑定地址
  app.config['SQLALCHEMY_BINDS'] = {
      'master': "mysql://root:1234@10.211.55.6:3306/mstest",
      'slave': "mysql://root:123456@10.211.55.7:3306/mstest"
  }
  # 设置是否追踪数据库变化  一般不会开启, 影响性能
  app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False
  # 设置是否打印底层执行的SQL语句
  app.config['SQLALCHEMY_ECHO'] = False
  
  # 创建数据库连接对象
  db = RoutingSQLAlchemy(app)
  
  
  # 用户表 一
  class User(db.Model):
      __tablename__ = 't_user'
      id = db.Column(db.Integer, primary_key=True)
      name = db.Column(db.String(20), unique=True)
  
  
  @app.route('/')
  def index():
      # 增加数据
      user1 = User(name='zs')
      db.session.add(user1)
      db.session.commit()
  
      # 查询数据
      users = User.query.all()
      print(users)
      return "index"
  
  
  if __name__ == '__main__':
      # 删除所有继承自db.Model的表
      db.drop_all()
      # 创建所有继承自db.Model的表
      db.create_all()
      app.run(debug=True)