Python beautifulsoup的安装与使用

#个人笔记！

#参考 http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html#Quick%20Start

#参考 http://cuiqingcai.com/1319.html

首先是安装：

1.到http://www.crummy.com/software/BeautifulSoup/网站上上下载

2.下载完成之后需要解压缩，假设放到D:/python下。

3.运行cmd，切换到D:/python/beautifulsoup4-4.1.3/目录下（根据自己解压缩后的目录和下载的版本号修改），

cd /d D:/python//beautifulsoup4-4.1.3

4.运行命令：

setup.py build

setup.py install

5.在IDE下from bs4 import BeautifulSoup，没有报错说明安装成功。

其次是使用:

1.三种对象

把爬下来的html网页装进beautifulsoup中，得到一个soup对象，接着就可以对soup对象进行操作分析，提取所需要的内容。整个html网页可以视为一棵树，最上面的结点就是html标签所表示的结点，可以通过类似于数据结构中树的关系访问整个html的各个节点。

除了soup对象外，还有tag对象和 navigablestring对象。tag对象就是各个标签所标记的对象，如html tag，body tag等。 navigablestring是最里层的对象，也就是说navigablestring内不含有任何标签。总结起来就是对网页的解析可以分为三种对象，soup对象，tag对象，navigablestring对象。

2.对结点的遍历

对结点有几种遍历方法。

1）用标签直接访问，soup对象.tag属性，就可以返回一个tag对象。如soup.body。

2）用contents和parents访问tag对象的直接子节点和直接父节点

3）用next和previous访问tag对象的下一个节点和上一个节点，按照深度优先的原则遍历

4）用 nextsibling和previoussibling访问下一个兄弟结点和上一个兄弟结点

值得一提的是这些遍历方式只对soup对象和tag对象有效， navigablestring对象并没有这些方法。

3.对结点的搜索

对结点的搜索有两个方法，find和findAll。两个方法的一般使用方法就是提供标签关键字和字典关键字。

比如，现在要提取“NBA,虎扑nba中文网，nba为主的专业篮球网站，专注于最全的nba直播，nba视频，图片及原创及nba新闻....”这个标题，可以用以下代码：

soup.find('meta',name="description")['content']

find和findAll的区别在于，find只找到最近的一个复合要求的搜索项，而findAll则返回全部的结果，以ResultSet对象返回，这是一个类似于lis但是又不是list的对象，只能通过迭代去访问，而不能用索引访问。