Python_爬虫

1.什么是爬虫?
就是在互联网上一直爬行的蜘蛛，如果遇到需要的资源，那么它就会抓取下来(html内容)；
模拟浏览器快速访问页面的内容。

2.浏览网页的过程中发生了什么?

浏览器输入 http://www.baidu.com/bbs

• 1). 根据配置的DNS获取www.baidu.com对应的主机IP；
• 2). 根据端口号知道跟服务器的那个软件进行交互；
• 3). 百度的服务器接收客户端请求；
• 4). 给客户端主机一个响应(html内容) ----- html，css，js；
• 5). 浏览器根据html内容解释执行， 展示出华丽的页面；

3.两个重要模块：

• BeautifulSoup 库 ：一款优秀的HTML/XML解析库，采用来做爬虫，不用考虑编码，还有中日韩文的文档，其社区活跃度之高，可见一斑。
  [注] 这个在解析的时候需要一个解析器，在文档中可以看到，推荐lxml

下表列出了主要的解析器：

推荐使用lxml作为解析器，因为效率更高。
在Python2.7.3之前的版本和Python3中3.2.2之前的版本，必须安装lxml或html5lib，因为那些Python版本的标准库中内置的HTML解析方法不够稳定。
提示：如果一段HTML或XML文档格式不正确的话，那么在不同的解析器中返回的结果可能是不一样的。

• Requests 库：一款比较好用的HTTP库，当然python自带有urllib以及urllib2等库， 但用起来是绝对没有这款舒服的。