需求
具体需求
有一个儿童绘本故事的网站,我想把它的绘本都抓下来
- 在本地新建以故事名字命名的文件夹
- 然后把每个绘本故事的图片下载下来放到这个文件件
- 绘本页面的图片要按顺序命名(0,1,2,3)方便后续操作
这是网站的一些页面的预览
主页:
具体内容页:
思路
- 打开主页解析主页内容获取所有文章列表链接
- 解析主页获取下一页链接(因为文章展示是分页的)
- 根据#1获取的文章页链接打开具体文章页
- 解析文章页过滤所有的图片然后下载到本地
- 解析文章页拿到文章下一页的链接(文章内容也是分页的)
代码
上面步骤看起来很多,其实代码并没有多少
用到的工具
- requests 请求网页内容
- BeautifulSoup 解析网页内容
- re 正则匹配
- os 创建文件
源码分析
主页解析
1. 打开主页
url = 'https://www.qigushi.com/huiben/index.html'
headers = {
"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.53"}
r = requests.get(url, verify=False, headers=headers)
html = r.text.encode(r.encoding).decode()
soup = BeautifulSoup(html, 'html.parser')
2. 获取所有的页数链接然后循环进入每页的页面
3. 进过分析我们看出他们的文章都是放到li list里面然后class也是一样的
pages = soup.select("div .page-links a:not(:last-child)")
for page in pages:
# find art list first
page_link = base_host + page["href"]
print("start get page: " + page_link)
r = requests.get(page_link, verify=False)
page_soup = BeautifulSoup(r.content, 'html.parser')
arts = page_soup.find_all("li", class_="infinitescroll_li")
for art in arts:
detail_link = art.find_all("div", class_="img")[0].find("a")["href"]
matchObj = re.search(r'https://.*', detail_link, re.M | re.I)
if matchObj:
print("start get art: " + detail_link)
parse_detail_page(detail_link)
文章页解析
1. 先拿到文章标题,然后用标题名建立文件夹
def mkdir(path):
folder = os.path.exists(path)
if not folder: # 判断是否存在文件夹如果不存在则创建为文件夹
os.makedirs(path) # makedirs 创建文件时如果路径不存在会创建这个路径
print("create new folder: " + path)
return True
else:
print("existed folder, skip to create: " + path)
return False
count = 0
r = requests.get(link, verify=False)
soup = BeautifulSoup(r.content, 'html.parser')
title = soup.select("div .title h1")[0].text
file_path = base_folder + title
mkdir(file_path)
2. 因为文章的页数最多显示6个,但是他有可能超过6个,我们在网页上是拿不到一共是有多少页的,所以我们这边要通过点击下一页的方式来进入到下一页
have_next = True
while have_next:
next_page = soup.select("div.pagebox i.fa-chevron-right")
if next_page.__len__() == 0:
have_next = False
else:
next_link = base_host + next_page[0].parent["href"]
print("start get next page: " + next_link)
next_r = requests.get(next_link, verify=False)
next_soup = BeautifulSoup(next_r.content, 'html.parser')
count = parse_page(next_soup, count, file_path)
soup = next_soup
3. 解析当前网页内容拿到图片并下载到文件夹
def parse_page(soup, count, file_path):
cur_imgs = soup.select("div .article_content img")
name = ""
for img in cur_imgs:
count = count + 1
img_link = img["src"]
if name == "":
name = img["alt"]
if not img_link.startswith("https"):
img_link = base_host + img_link
print("start get art: {} page of {}".format(name, count))
r = requests.get(img_link, verify=False)
with open('{}/{}.png'.format(file_path, count), 'wb') as f:
f.write(r.content)
return count