Python操作mariadb数据库(MySQL)

import MySQLdb
import re
conn = MySQLdb.connect(host='127.0.0.1',port = 3306,user='root',passwd='root',db='docker')
cur = conn.cursor()
c_name = cur.execute('select container_name from docker_info where id = (select max(id) from docker_info);')
data1 = cur.fetchall()
c_port = cur.execute('select container_port from docker_info where id = (select max(id) from docker_info);')
data2 = cur.fetchall()
#print re.findall("%s",% data1)
conn.close()
print data1,data2

 

实现的功能是从本地mariadb数据库中分别查询id最大的容器名和端口名并打印出来。

fetchall() 是返回所有,而fetchone是返回一行数据

要将Scrapy爬取到的数据导入到Mariadb数据库中,需要进行以下几个步骤: 1. 安装Mariadb数据库PythonMariadb驱动程序pymysql ``` pip install pymysql ``` 2. 在项目的settings.py文件中添加Mariadb数据库的配置信息 ``` MYSQL_HOST = 'localhost' MYSQL_PORT = 3306 MYSQL_USER = 'root' MYSQL_PASSWORD = 'password' MYSQL_DBNAME = 'database_name' ``` 3. 在Scrapy项目的pipelines.py文件中编写将数据存储到Mariadb数据库的代码 ``` import pymysql class MariadbPipeline(object): def __init__(self, host, port, user, password, db): self.host = host self.port = port self.user = user self.password = password self.db = db @classmethod def from_crawler(cls, crawler): return cls( host=crawler.settings.get('MYSQL_HOST'), port=crawler.settings.get('MYSQL_PORT'), user=crawler.settings.get('MYSQL_USER'), password=crawler.settings.get('MYSQL_PASSWORD'), db=crawler.settings.get('MYSQL_DBNAME') ) def open_spider(self, spider): self.conn = pymysql.connect( host=self.host, port=self.port, user=self.user, password=self.password, db=self.db, charset='utf8mb4', cursorclass=pymysql.cursors.DictCursor ) self.cursor = self.conn.cursor() def close_spider(self, spider): self.conn.close() def process_item(self, item, spider): sql = """ INSERT INTO table_name (field1, field2, field3) VALUES (%s, %s, %s) """ self.cursor.execute(sql, (item['field1'], item['field2'], item['field3'])) self.conn.commit() return item ``` 4. 在Scrapy项目的settings.py文件中启用MariadbPipeline ``` ITEM_PIPELINES = { 'project_name.pipelines.MariadbPipeline': 300, } ``` 这样,当Scrapy爬取到数据后,就会将数据存储到Mariadb数据库中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值