本文是网络爬虫系列教程的第二部分，重点讲解Beautifulsoup库的使用，包括基础爬取、异常处理、通过CSS选择器抓取内容、find()和findAll()方法、处理层级标签、正则表达式结合使用等实用技巧，帮助读者深入掌握网页数据的抓取和解析。
网络爬虫(二)
一 基础爬取
1. 获取网页内容
urllib是Python的标准库，包含了从网络请求数据，处理cookie，甚至改变像请求头和用户代理这些元数据的函数
from urllib.request import urlopen
html = urlopen("http://pythonscraping.com/pages/page1.html")
print(html.read())2. Beautifulsoup
通过定位 HTML 标签来格式化和组织复杂的网络信息，用简单易用的 Python 对象为我们展现 XML 结构信息。
安装初步常用包
$pip install bs4
$pip install requests
$pip install lxml
3.第一个例子
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/page1.html")
bsObj = BeautifulSoup(html.read(),"html.parser")
print(bsObj.h1)导入 urlopen，然后调用 html.read() 获取网页的 HTML 内容。这样就可以把 HTML 内容传到 BeautifulSoup 对象，转换成下面的结构 :
html → <html><head>...</head><body>...</body></html>
— head → <head><title>A Useful Page<title></head>
— title → <title>A Useful Page</title>
— body → <body><h1>An Int...</h1><div>Lorem ip...</div></body>
— h1 → <h1>An Interesting Title</h1>
— div → <div>Lorem Ipsum dolor...</div>从网页中提取的 h1 标签被嵌在 BeautifulSoup 对象 bsObj 结构的第二层
（html → body → h1）。不过从对象里提取 h1 标签的时候，可以直接调用它：
bsObj.h1
下面这些函数调用都可以达到同样的效果。
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
