Python爬虫实战(五) :下载百度贴吧帖子里的所有图片

原创 2017年09月05日 12:31:16
准备工作:
目标网址:https://tieba.baidu.com/p/5113603072
目的:    下载该页面上的所有楼层里的照片

第一步:分析网页源码
火狐浏览器  ---> 在该页面上右击 “查看页面源代码”,会打开一个新的标签页。

第二步:查找图片源地址
在新标签页上ctrl + F,输入jpg,找到第一个图片的源地址

<img class="BDE_Image" src="https://imgsa.baidu.com/forum/w%3D580/sign=29a773eb871001e94e3c1407880f7b06/50cf3bc79f3df8dc5b6bb593c711728b47102859.jpg"
BTW,怎么知道这个链接是不是第一张图,在查找jpg的时候,直接复制jpg网址在浏览器上输入回车对比即可,如果是超链接,直接点击即可。

查找后分析,所有楼层里面的图片都是这个格式<img class="BDE_Image" src=.......


第三步:使用强大BeautifulSoup,过滤标签img 和 class="BDE_Image",代码:
soup = BeautifulSoup(html, 'html.parser')
img_info = soup.find_all('img', class_='BDE_Image')

第四步:找出所有照片的原始链接,代码
for img in img_info:
    img.get("src")

第五步:下载
使用urllib.request.urlretrieve函数

整合后写成完整代码:


#coding=utf-8  
import requests
import urllib.request
from bs4 import BeautifulSoup

def getHtml(url):  
    page = requests.get(url)  
    html =page.text  
    return html

def getImg(html):
    soup = BeautifulSoup(html, 'html.parser')  
    img_info = soup.find_all('img', class_='BDE_Image')
    for index,img in enumerate(img_info,1):
        print ("正在下载第{}张图片".format(index))
        urllib.request.urlretrieve(img.get("src"),'%s.jpg' % index)  
        
if __name__=='__main__':
    url = "https://tieba.baidu.com/p/5113603072"
    html = getHtml(url)
    getImg(html)

    print ("OK!All DownLoad!")




我们看到该帖子远远不止一页,我们也想下载其他页面上的图片怎么办?

点击第二页,网址变为
https://tieba.baidu.com/p/5113603072?pn=2

将pn=2改成pn=1试试,回车,又发现与之前的网站https://tieba.baidu.com/p/5113603072指向的是同一个页面,因此可以循环来访问了。

代码:

#coding=utf-8
import re
import requests
import urllib.request 
from bs4 import BeautifulSoup

def getHtml(url):  
    page = requests.get(url)  
    html =page.text  
    return html

def getImg(html):
    soup = BeautifulSoup(html, 'html.parser')  
    img_info = soup.find_all('img', class_='BDE_Image')
    global index 
    for index,img in enumerate(img_info,index+1):
        print ("正在下载第{}张图片".format(index))
        urllib.request.urlretrieve(img.get("src"),'%s.jpg' % index)

def getMaxPage(url):
    html = getHtml(url)
    reg  = re.compile(r'max-page="(\d+)"')
    page = re.findall(reg,html)
    page = int(page[0])
    return page
    
        
if __name__=='__main__':
    url   = "https://tieba.baidu.com/p/5113603072"
    page  = getMaxPage(url)
    index = 0
    for i in range(1,page):
        url = "%s%s"  % ("https://tieba.baidu.com/p/5113603072?pn=",str(i))
        html = getHtml(url)
        getImg(html)
        
    print ("OK!All DownLoad!")


   





总结:BeautifulSoup功能真是太强大了。





相关文章推荐

Python爬虫实战(六):爬取糗事百科段子

直接上代码: #coding=utf-8 import requests import urllib.request from bs4 import BeautifulSoup def g...

Python学习笔记(二):tuple属性及方法浅析

元组是存放任意元素集合,不能修改其内容. 简单创建元组 In [1]: T = () #创建一个空的元组 In [2]: T Out[2]: () In [3]: T...

Python爬虫实战(1)——百度贴吧抓取帖子并保存内容和图片

最近在网上看了很多的爬虫脚本,写的参差不齐,但是其中有很多写的非常的优秀,代码质量很高,规范性也很好,很具有代表性,非常值得我们去学习!~ 之前的帖子中介绍过url,也就是网址,在我们抓取网页的过...

python爬虫实战二之爬取百度贴吧帖子

目标: 1.对百度贴吧的任意帖子进行抓取 2.指定是否只抓取楼主发帖内容 3.将抓取到的内容分析并保存到文件 1.URL格式的确定 首先,我们先观察一下百度贴吧的任意一个帖子。比如:http://...

Python爬虫实战(2):百度贴吧帖子

Python爬虫入门(1):综述Python爬虫入门(2):爬虫基础了解Python爬虫入门(3):Urllib库的基本使用Python爬虫入门(4):Urllib库的高级用法Python爬虫入门(5...

python3 多页爬虫爬取百度贴吧帖子所有图片

逛博客,发现了python。说是人工智能开发的主要语言,所以就来了兴趣,打算抽空看看。网上找了教程觉得语法上,相较于.net和java反倒更简单点。基本语法看完,总要弄点东西吧...

【python爬虫】百度贴吧帖子图片批量保存爬虫

继续练手,做了个帖子爬虫,我默认设置为只保存楼主的图片。这样有很多好的图片或者漫画中间就不会被插楼的图片干扰了。 代码在:https://github.com/qqxx6661/python/blo...

Python下载百度贴吧帖子里面的图片

学习网络爬虫的第一个程序: #-*- coding:utf-8 -*- #使用utf-8字符集 import re import urllib def get_content(url): ""...

python爬虫(13)爬取百度贴吧帖子

爬取百度贴吧帖子 一开始只是在网上看到别人写的爬取帖子的文章,然后自己就忍不住手痒自己锻炼一下, 然后照着别人的写完,发现不太过瘾, 毕竟只是获取单个帖子的内容,感觉内容稍显单薄,然后自己重新做了修...

Python爬虫试水————爬取丽水学院百度贴吧帖子信息&分析

这周试着学了下Python 于是准备做个小爬虫练练手 —————————————————————————————— 以下是爬取结果的分析: 爬取目标,百度 丽水学院 贴吧 截止至 2017年2月19号...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Python爬虫实战(五) :下载百度贴吧帖子里的所有图片
举报原因:
原因补充:

(最多只允许输入30个字)