一Mysql的使用
首先安装pymysql模块,以便Python与数据库进行连接。
然后我们需要连接到Mysql:
我们知道数据库的host user database password charset。
然后与数据库进行连接
二我们需要创建一个表,将数据保存在表中。
创建完表格之后就保存数据了,在保存数据之前我们需要爬去数据
三爬去数据
爬去贴吧图片
四保存数据。
爬去完的贴吧图片保存在刚才创建的表中
这样所有步骤就完成了。
完整代码
import pymysql
import requests
import re
conn = pymysql.connect(host='localhost',
user='root',
database='r_l',
password='123456789',
charset='utf8')
print('链接数据库成功')
cur=conn.cursor()
sql="""CREATE TABLE tupian (name CHAR(20),href CHAR(255))"""
cur.execute("DROP TABLE IF EXISTS tupian")
cur.execute(sql)
conn.commit()
print("创建成功")
url="https://tieba.baidu.com/f?ie=utf-8&kw=%E7%8E%87%E5%9C%9F%E4%B9%8B%E6%BB%A8&fr=search"
items=requests.get(url).content
item=re.compile('<img.*data-original="(.*?.jpg)".*?>')
pic_url=item.findall(items.decode('utf-8'))
for a in pic_url:
for i in range(len(pic_url)):
pic_name = str(i) + '.jpg'
cur.execute("INSERT INTO tupian(name,href) VALUES ('%s','%s');" % (pic_name,a))
conn.commit()
print('完成')