连接添加:
# 连接数据库
conn = Connection(
host="localhost",
user="root",
password="密码",
database="数据库名",
charset="utf8mb4"
)
# 创建数据库游标对象
cursor = conn.cursor()
# SQL语句,向img_meishi表中插入一条数据
sql = "insert into 表名(字段名,字段名,字段名) values (%s,%s,%s)"
# 数据列表,包含要插入的数据
data_list = (要插入的数据名)
# 执行SQL语句,将数据插入到数据库中
cursor.execute(sql, data_list)
# 提交事务,将数据持久化到数据库
conn.commit()
# 关闭数据库
conn.close()
爬虫添加:
根据这个博客爬虫 python爬虫,requests方法和xpath方法_東_dong的博客-CSDN博客 进行添加到数据库
import requests
from bs4 import BeautifulSoup
from pymysql import Connection
url = "网址"
# 连接数据库
conn = Connection(
host="localhost",
user="root",
password="密码",
database="数据库名",
charset="utf8mb4"
)
hd = {
"user-agent": "请求头。在网页右键查看网络,随便点开一个最下面是请求头"
}
r = requests.get(url, headers=hd)
r.encoding = 'gb2312' # 编码
# 使用BeautifulSoup解析响应的文本内容
s = BeautifulSoup(r.text, "html.parser")
# 使用CSS选择器定位到网页中指定元素(以列表形式返回所有匹配结果)
# 选上指定元素右键复制selector
# [0].get_text()爬取文字,[0].get("href")爬取链接,[0].get("src")爬取图片
q = s.select('网页中指定元素')[0].get_text()
# 创建数据库游标对象
cursor = conn.cursor()
# SQL语句,向img_meishi表中插入一条数据
sql = "insert into 表名(字段名,字段名,字段名) values (%s,%s,%s)"
# 数据列表,包含要插入的数据
data_list = (要插入的数据名)
# 执行SQL语句,将数据插入到数据库中
cursor.execute(sql, data_list)
# 提交事务,将数据持久化到数据库
conn.commit()
# 关闭数据库
conn.close()
# 输出爬取内容
print(q)