爬取百度贴吧照片,保存至数据库。
爬取地址为:https://tieba.baidu.com/p/6218590667
爬取贴吧主页的图片可能需要模拟点击,还没有学会,暂时是简单爬取一个页面的图片,在页码中可以获得图片的代码信息。
from urllib import request
from bs4 import BeautifulSoup
import pymysql
url_t = 'https://tieba.baidu.com/p/6218590667'
html_t = request.urlopen(url_t)
conn = pymysql.connect(host = 'localhost', user = 'root', password = '523310', db = 'mysql')#链接数据库
cur = conn.cursor()
def get_img(info):
soup = BeautifulSoup(info, 'html5lib')
img_list = soup.find_all('img' , class_ = 'BDE_Image')
img_name = 0
for img in img_list:
img_url = img['src']
img_name += 1
cur.execute('INSERT INTO pic(id, 图片) VALUES (%s, %s)',(img_name,img_url))#插入数据库中
get_img(html_t)
cur.close()
conn.commit()
conn.close()
print('完成')
数据库提前建立并且设置图片的属性为BLOB。