高效爬虫,用executemany方法一次性插入MySQL多条数据(2),用字典格式保存数据并存入数据库

本文介绍如何在Python中使用executemany方法一次性将字典格式的爬取数据插入MySQL数据库,通过创建表格和解析XPath获取数据,实现高效存储。
摘要由CSDN通过智能技术生成

大家好,我是天空之城,今天给大家带来,用executemany方法一次性插入MySQL多条数据(2),用字典格式保存数据并存入数据库,注意executemany方法后面的%s写法,与上一篇不同。
有兴趣加qq群,纯学习,1098016198。
第一步建立表格。

import pymysql

conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='qwer123456', db='mydb', charset='utf8')

cursor = conn.cursor()


sql = """create table movies9(
        m_id int primary key auto_increment,
        movie_title varchar (100) not null,
        movie_link varchar(200) null,
        movie_pingfen varchar(110) not null,
        movie_pinglun varchar(200) null
        )"""
cursor.execute(sql)

cursor.close()
conn.close()

第二步,获取并插入数据。


import requests,lxml,pymysql
from lxml import etree
import csv
import smtplib
from email.mime.text import MIMEText
from email.header import Header

header =
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值