常用爬虫技术

一、常用爬虫技术

爬虫系统的核心部件之一就是HTML网页下载器，下载网页需要实现HTML请求，在python中实现HTML请求比较常用的库主要有两个：urllib库和requests库
urllib库：urllib库是python内置的HTML请求库
requests库：基于urllib库，基于Apache2开源协议的HTML库，比urllib更加方便

解析网页主要三种工具
正则表达式：使用预定义的模式去匹配一类具有相同特征的字符串，可以快速、准确的完成复杂的查找，替换等处理要求。
lxml库：lxml库使用Xpath语法，同样是效率较高的解析库。是一门在XML文档中查找信息的语言，可以在XML文档中对元素和属性进行遍历
bs4.BeautifulSoup：BeautifulSoup可以从HTML和XML文件中提取数据的python库，能够实现文档的导航和查找，简单易学，相比上面速度较慢

爬虫框架
常见的有Scrapy（最著名，最受欢迎）、Pyspider、Cola

二、爬虫基础

HTTP请求

超文本传输协议（HTTP）是一种通信协议，它允许将超文本标记语言（HTML）编写的文档从WEB服务器端传送到客户端的浏览器。HTTP请求可以理解为浏览器到web服务器的请求消息

HTTP请求信息有请求方法，请求头部，请求正文组成

请求方法

常见的请求方法有get()和post()
get方法。get方法请求指定的页面信息。如要查询字符串，这些信息包含在get请求的url中
post方法。post方法向指定的资源