python学习（5）：python爬虫之BeautifulSoup库的使用

前言：

上一篇，我们使用了python自带的urllib和re库完成了爬虫的入门案例，点击进入博客

但是，由于正则表达式难以掌握，我们用一个第三方库：BeautifulSoup，来对网页内容进行截取

正文

一，下载并安装BeautifulSoup

如果python3.x安装了pip3，就可以使用pip3命令行来安装BeautifulSoup

pip3 install beautifulsoup4

如果没有安装pip3，也可以通过源码安装

下载源码包（点击下载），进入到包目录下通过命令行安装

python setup.py install

安装好后，进入python，测试是否安装成功

from bs4 import BeautifulSoup

没有报错就是安装成功了。

bs4的中文文档请参见页面：http://beautifulsoup.readthedocs.io/zh_CN/latest/

二，使用

先看一下bs的基本使用方法

import urllib.request
from bs4 import BeautifulSoup

def getHtmlCode(url):  # 该方法传入url，返回url对应的html的源码
    headers = {
        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
    }
    url1 = urllib.request.Request(url, headers=headers) # Request函数将url添加头部，模拟浏览器访问
    page = urllib.request.urlopen(url1).read()  # 将url页面的源代码保存成字符串
    page = page.decode('UTF-8')  # 字符串转码
    return page


if __name__ == '__main__':
    html = getHtmlCode('http://www.zhangzishi.cc/20160413hx.html')
    soup = BeautifulSoup(html,"html.parser") # BeautifulSoup类解析url源码并返回一个对象
    print(type(soup))
    print(soup.prettify())   # 按照标准的缩进格式的结构输出
    print(soup.p)    # 输出源码中第一个p标签
    print(soup.p.name)  # 输出标签的名字p
    print(soup.title.string)  # 输出标签的内容

    # 获得标签属性内容的第一种方法
    print(soup.a['href'])

    # 获得标签属性内容的第二种方法
    img = soup.img
    print(img.get('src'))

    # find_all找到所有的img标签，并返回一个列表
    print(soup.find_all('img'))

    # 结合上两步，获得所有img标签中的src属性内容
    imgList = soup.find_all('img')
    for i in imgList:
        print(i.get('src'))
        print(type(i.get('src')))  # get返回的是字符串

三，结合urllib和bs4来完成爬虫程序

import urllib.request
from bs4 import BeautifulSoup

def getHtmlCode(url):  # 该方法传入url，返回url的html的源码
    headers = {
        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
    }
    url1 = urllib.request.Request(url, headers=headers) # Request函数将url添加头部，模拟浏览器访问
    page = urllib.request.urlopen(url1).read()  # 将url页面的源代码保存成字符串
    page = page.decode('UTF-8')  # 字符串转码
    return page

def getImg(page,localPath):  # 该方法传入html的源码，经过截取其中的img标签，将图片保存到本机

    soup = BeautifulSoup(page,'html.parser') # 按照html格式解析页面
    imgList = soup.find_all('img')  # 返回包含所有img标签的列表
    x = 0
    for imgUrl in imgList:  # 列表循环
        print('正在下载：%s'%imgUrl.get('src'))
        # urlretrieve(url,local)方法根据图片的url将图片保存到本机
        urllib.request.urlretrieve(imgUrl.get('src'),localPath+'%d.jpg'%x)
        x+=1


if __name__ == '__main__':
    url = 'http://www.zhangzishi.cc/20160928gx.html'
    localPath = 'e:/pythonSpiderFile/img3/'
    page = getHtmlCode(url)
    getImg(page,localPath)