python中beautifulsoup4库

爬虫学习（二）

首先是 beautifulsoup4库的安装，直接打开命令提示符，输入pip install beautifulsoup4
当我们安装结束后，可以在命令提示符输入如下：

显示如上所示，即为安装成功，version为版本
测试库是否安装
下面测试

import requests
r=requests.get("http://python123.io/ws/demo.html")
print(r.text)
demo=r.text
from bs4 import BeautifulSoup
soup =BeautifulSoup(demo,"html.parser")
print(soup.prettify())

BeautifulSoup是一个类
创建一个实例解析demo里面的内容，以HTML解析
from bs4 import BeautifulSoup
soup =BeautifulSoup(demo,“html.parser”)
以上两段代码即可解析
BeautifulSoup库是解析，遍历，维护的功能库。他可以解析html，xml
下面介绍

import requests
r=requests.get("http://python123.io/ws/demo.html")
demo=r.text
from bs4 import BeautifulSoup
soup =BeautifulSoup(demo,"html.parser")
print(soup.title)
tag=soup.a
print(tag)
输出为
<title>This is a python demo page</title>
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>

上述代码的意思是
访问上述网站，输出soup.title 和a节点的内容

tag=soup.a.next_sibling.next_sibling
print(tag)
s=soup.a.previous_sibling
print(s)

next_sibling是遍历下一个节点
previous_sibling是遍历上一个节点
.contents是下行遍历
.parent是上行遍历
.prettify()能够将html很好的输出内容