sqlalchemy 多线程的数据存储

最新推荐文章于 2024-07-30 08:47:31 发布

watsy

最新推荐文章于 2024-07-30 08:47:31 发布

阅读量5.4k

点赞数 1

分类专栏： python web

本文链接：https://blog.csdn.net/watsy/article/details/9378565

版权

本文探讨了如何在使用SQLAlchemy进行数据库操作时，有效地应对多线程爬虫的数据存储问题。通过实例代码展示如何在多线程环境中确保数据的正确性和一致性。

摘要由CSDN通过智能技术生成

爬网站采用单线程时候太慢，采用线程池多线程爬的过程中。db插入需要

scoped_session

直接发代码

class DBEngine(object):

    def __init__(self):

        self.engine = create_engine('sqlite:///train.sqlite', echo = False)
        # db_session = sessionmaker(autocommit=False,autoflush=False,bind=self.engine)
        # self.session = db_session()
        self._dbSession = scoped_session(
            sessionmaker(
                autocommit=False,
                autoflush=False,
                bind=self.engine
            )
        )

    def closeDB(self):

        self._dbSession().close()


    def saveTrainCode( self , code ):

        dbc = self.getTrainCodeIdWithCode( code )

        if not dbc:
            dbc = DBTrainCode( code )
            self._dbSession().add( dbc )
            self._dbSession().commit()


    def ge