scrapy 操作MYSQL

最新推荐文章于 2024-04-03 14:43:08 发布

影雀

最新推荐文章于 2024-04-03 14:43:08 发布

阅读量744

点赞数

分类专栏： Scrapy

如转载请指明出处！

本文链接：https://blog.csdn.net/qq_42952437/article/details/109645809

版权

Scrapy 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

scrapy piplines操作mysql数据库：

class EducationPipeline:
    def __init__(self):
        self.connect = pymysql.connect(host='localhost',                                       
port=3306,                                       
user='root',                                       
password='123456',  # 密码是字符串类型                                       
database='czxx',                                       
charset='utf8',                                       
use_unicode=True)
        self.cursor = self.connect.cursor()  # 创建游标        print("连接数据库成功")
    def process_item(self, item, spider):
          insert_sql = """insert into schoolinfo(region,school,address,telephone,postcode,period) VALUES                         (%s,%s,%s,%s,%s,%s)"""        # 执行插入数据到数据库操作        
    self.cursor.execute(insert_sql,(item['Region'], item['School'], item['Address'], item['Telephone'],                                         item['PostCode'], item['Period']))
        # 提交，不进行提交无法保存到数据库        self.connect.commit()
        return item
    def close_spider(self, spider):
        # 关闭游标和连接       
  self.cursor.close()
        self.connect.close()

以上为个人使用经验，如有不足，欢迎指正。