前言:
上一篇,我们使用了python自带的urllib和re库完成了爬虫的入门案例,点击进入博客
但是,由于正则表达式难以掌握,我们用一个第三方库:BeautifulSoup,来对网页内容进行截取
正文
一,下载并安装BeautifulSoup
如果python3.x安装了pip3,就可以使用pip3命令行来安装BeautifulSoup
pip3 install beautifulsoup4
如果没有安装pip3,也可以通过源码安装
下载源码包(点击下载),进入到包目录下通过命令行安装
python setup.py install
安装好后,进入python,测试是否安装成功
from bs4 import BeautifulSoup
没有报错就是安装成功了。
bs4的中文文档请参见页面:http://beautifulsoup.readthedocs.io/zh_CN/latest/
二,使用
先看一下bs的基本使用方法
import urllib.request
from bs4 import BeautifulSoup
def getHtmlCode(url): # 该方法传入url,返回url对应的html的源码
headers = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
}
url1 = urllib.request.Request(url, headers=headers) # Request函数将url添加头部,模拟浏览器访问
page = urllib.request.urlopen(url1).read() # 将url页面的源代码保存成字符串
page = page.decode('UTF-8') # 字符串转码
return page
if __name__ == '__main__':
html = getHtmlCode('http://www.zhangzishi.cc/20160413hx.html')
soup = BeautifulSoup(html,"html.parser") # BeautifulSoup类解析url源码并返回一个对象
print(type(soup))
print(soup.prettify()) # 按照标准的缩进格式的结构输出
print(soup.p) # 输出源码中第一个p标签
print(soup.p.name) # 输出标签的名字p
print(soup.title.string) # 输出标签的内容
# 获得标签属性内容的第一种方法
print(soup.a['href'])
# 获得标签属性内容的第二种方法
img = soup.img
print(img.get('src'))
# find_all找到所有的img标签,并返回一个列表
print(soup.find_all('img'))
# 结合上两步,获得所有img标签中的src属性内容
imgList = soup.find_all('img')
for i in imgList:
print(i.get('src'))
print(type(i.get('src'))) # get返回的是字符串
三,结合urllib和bs4来完成爬虫程序
import urllib.request
from bs4 import BeautifulSoup
def getHtmlCode(url): # 该方法传入url,返回url的html的源码
headers = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
}
url1 = urllib.request.Request(url, headers=headers) # Request函数将url添加头部,模拟浏览器访问
page = urllib.request.urlopen(url1).read() # 将url页面的源代码保存成字符串
page = page.decode('UTF-8') # 字符串转码
return page
def getImg(page,localPath): # 该方法传入html的源码,经过截取其中的img标签,将图片保存到本机
soup = BeautifulSoup(page,'html.parser') # 按照html格式解析页面
imgList = soup.find_all('img') # 返回包含所有img标签的列表
x = 0
for imgUrl in imgList: # 列表循环
print('正在下载:%s'%imgUrl.get('src'))
# urlretrieve(url,local)方法根据图片的url将图片保存到本机
urllib.request.urlretrieve(imgUrl.get('src'),localPath+'%d.jpg'%x)
x+=1
if __name__ == '__main__':
url = 'http://www.zhangzishi.cc/20160928gx.html'
localPath = 'e:/pythonSpiderFile/img3/'
page = getHtmlCode(url)
getImg(page,localPath)