因为写爬虫要存储数据 感觉单一插入数据在写一个更新数据的命令会很麻烦 而且数据量大也会有影响 找了很多资料 找到一个一句命令就可以更新和插入 这些操作都是在window系统下面完成的 因为电脑问题liunx很卡 所以不是很了解 就不献丑了
下面的我自己创建的一个table表
之后点击索引键创建唯一索引
下面的是我按照author 也就是作者的意思创建了唯一索引
之后我在pycharm里面运行代码,因为之前全是不完整的代码 本人理解能力较差 也希望能让和自己一样的朋友能看懂就把sql的所有代码复制过来,希望大家在比较上面创建的table表 能理解这些代码的意思
def Mysql(title, num_people, author, url): mysql = pymysql.connect(host='localhost',user='root',password='12345678',port=3306,db='mysql',charset='utf8') try: cursor = mysql.cursor() #yourtablename 是你自己要创建的表的名字 sql = 'insert into yourtablename(title,num_people,author,url) VALUES(%s, %s, %s, %s) ON DUPLICATE KEY UPDATE title=VALUES(title),num_people=VALUES(num_people)' data = (title, num_people, author, url) print(data) cursor.execute('USE scraping') cursor.execute(sql,data) #因为不是查询功能,插入和更新需要更改数据库,所以需要一个事务mysql.commit()与mysql.rollback()比较重要,保证你插入的数 #据能存到数据库里面 mysql.commit() cursor.close() except pymysql.Error as e: mysql.rollback() print('插入数据格式错误:',str(e))
这些都完成 就可以试试能不能正常的运行了 本人测试过 没有问题