关于scrapy 管道传数据库操作参照

最新推荐文章于 2022-07-11 07:38:00 发布

迷了鹿的狗子

最新推荐文章于 2022-07-11 07:38:00 发布

阅读量146

点赞数

分类专栏：自学文章标签： mysql

本文链接：https://blog.csdn.net/biebazijidanghuishi/article/details/106101024

版权

自学专栏收录该内容

30 篇文章 0 订阅

订阅专栏

    def process_item(self, item, spider):
        data = dict(item)
        content_url = data['sourceUrl']
        #特殊网站（post）
        md5 = hashlib.md5(content_url.encode()).hexdigest()
        ErrorCause = ''
        status = ''
        con = pymysql.connect(host="", port=3306, user="",
                              password="", db="")
        cursor = con.cursor()
        try:
            sql_search = f"SELECT 1 FROM integration_zb WHERE md5='{md5}';"
            cursor.execute(sql_search)
            res = cursor.fetchone()
            if not res:
                sql = '..............'
                cursor.execute(sql, (数据))
                con.commit()
                print('\033[7;41m完成完成完成完成完成完成\033[0m')
        except Exception as e:
            con.rollback()
            print('SQL执行异常', e)
            raise e
        finally:
            con.close()
            # print('关闭数据库')