Python网络爬虫

Python网络爬虫

1.爬虫简介
网页爬取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。
请求网站并提取数据的自动化程序
2.爬取网页的基础知识-HTTP协议
HTTP协议简介
超文本传输协议是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础。
HTTP的发展是由蒂姆·伯纳斯-李于1989年在欧洲核子研究组织（CERN）所发起。1999年6月公布的 RFC 2616，定义了HTTP协议中现今广泛使用的一个版本——HTTP 1.1。
2014年12月，互联网工程任务组（IETF）将HTTP/2标准提议递交至IESG进行讨论，于2015年2月17日被批准。 HTTP/2标准于2015年5月以RFC 7540正式发表，取代HTTP 1.1成为HTTP的实现标准。
1.HTTP协议概述
HTTP是一个客户端终端（用户）和服务器端（网站）请求和应答的标准（TCP）。通过使用网页浏览器、网络爬虫或者其它的工具，客户端发起一个HTTP请求到服务器上指定端口（默认端口为80）。我们称这个客户端为用户代理程序（user agent）。应答的服务器上存储着一些资源，比如HTML文件和图像。我们称这个应答服务器为源服务器（origin server）。在用户代理和源服务器中间可能存在多个“中间层”，比如代理服务器、网关或者隧道（tunnel）。
2．HTTP工作过程
（1）客户端与服务器建立连接。
（2）服务器接到请求后，给予相应的响应信息。
（3）客户端接收服务器所返回的信息，浏览器解析并显示网页。
3．HTTP工作过程
HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求报文，请求报文包含请求的方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行作为响应，响应的内容包括协议的版本、成功或者错误代码、服务器信息、响应头部和响应数据。
（1）客户端与服务器建立连接。
（2）发送HTTP请求
（3）服务器接到请求后，给予相应的响应信息。
（4）释放连接TCP连接
（5）客户端接收服务器所返回的信息，浏览器解析并显示网页。
爬取网页的基础知识-HTTP请求方法

GET提交的数据会放在URL之后，也就是请求行里面，以?分割URL和传输数据，参数之间以&相连，如EditBook?name=test1&id=123456.（请求头里面那个content-type做的这种参数形式，后面讲） POST方法是把提交的数据放在HTTP包的请求体中.
GET提交的数据大小有限制（因为浏览器对URL的长度有限制），而POST方法提交的数据没有限制.
GET与POST请求在服务端获取请求数据方式不同，就是我们自己在服务端取请求数据的时候的方式不同了，这句废话昂。
爬取网页的基础知识-HTTP状态码
所有HTTP响应的第一行都是状态行，依次是当前HTTP版本号，3位数字组成的状态代码，以及描述状态的短语，彼此由空格分隔。

爬取网页的基础知识-URL
URL是Uniform Resource Locator的缩写，即统一资源定位系统，也就是网址。
URL 遵守一种标准的语法，它由协议、主机名、域名、端口、路径、以及文件名这六个部分构成，

HTML与JavaScript基础-网页结构
1.网页一般由三部分组成，分别是 HTML（超文本标记语言）、CSS（层叠样式表）和 JScript（活动脚本语言）。
2.HTML是整个网页的结构，相当于整个网站的框架。带“＜”、“＞”符号的都是属于 HTML 的标签，并且标签都是成对出现的。
HTML与JavaScript基础-网页结构
3.常见的标签如下：

.. 表示标记中间的元素是网页 .. 表示用户可见的内容

..

表示框架

..

表示段落

• ..
• 表示列表 ..表示图片

  ..

  表示标题 ..表示超链接 **4.CSS** CSS 表示样式，＜style type=＂text/css＂＞表示下面引用一个 CSS，在 CSS 中定义了外观。 **5. JScript 表示功能。交互的内容和各种特效都在 JScript 中，JScript 描述了网站中的各种功能。** 如果用人体来比喻，HTML 是人的骨架，并且定义了人的嘴巴、眼睛、耳朵等要长在哪里。CSS 是人的外观细节，如嘴巴长什么样子，眼睛是双眼皮还是单眼皮，是大眼睛还是小眼睛，皮肤是黑色的还是白色的等。JScript 表示人的技能，例如跳舞、唱歌或者演奏乐器等。 **爬虫的合法性** 每一个网站都有一个名为 robots.txt 的文档，当然也有部分网站没有设定 robots.txt。对于没有设定 robots.txt 的网站可以通过网络爬虫获取没有口令加密的数据，也就是该网站所有页面数据都可以爬取。如果网站有 robots.txt 文档，就要判断是否有禁止访客获取的数据。  **爬取网页的urllib库** 1.urllib库 Python3.x标准库urllib提供了urllib.request、urllib.response、urllib.parse和urllib.error四个模块，很好地支持了网页内容读取功能。再结合Python字符串方法和正则表达式，可以完成一些简单的网页内容爬取工作，也是理解和使用其他爬虫库的基础。 2. 使用urllib库获取网页信息 使用 urllib.request.urlopen()函数可以打开一个网站，读取并打印网页信息。 urllib.urlopen(url, data[, proxies]) urlopen()函数返回response对象 函数的参数url表示远程数据的路径；data表示提交到url的数据；proxies用于设置代理。 2. 使用urllib库获取网页信息 response对象的方法 info()方法： 返回一个httplib.HTTPMessage对象。 getcode()方法：返回HTTP状态码。如果是HTTP请求，200表示请求成功完成，404表示网址未找到。 geturl()：返回请求的url。

  urllib的基本应用
  1.读取并显示网页内容

  import urllib.request
  fp = urllib.request.urlopen(r’http://www.python.org’)
  print(fp.read(100)) #读取100个字节
  print(fp.read(100).decode()) #使用UTF8进行解码
  fp.close() #关闭连接
  2.提交网页参数
  （1）下面的代码演示了如何使用GET方法读取并显示指定url的内容。

  import urllib.request
  import urllib.parse
  params = urllib.parse.urlencode({‘spam’: 1, ‘eggs’: 2, ‘bacon’: 0})
  url = “http://www.musi-cal.com/cgi-bin/query?%s” % params
  with urllib.request.urlopen(url) as f:
  print(f.read().decode(‘utf-8’))
  （2）使用POST方法提交参数并读取指定页面内容。

  import urllib.request
  import urllib.parse
  data = urllib.parse.urlencode({‘spam’: 1, ‘eggs’: 2, ‘bacon’: 0})
  data = data.encode(‘ascii’)
  with urllib.request.urlopen(“http://requestb.in/xrbl82xr”,
  data) as f:
  print(f.read().decode(‘utf-8’))
  3.使用HTTP代理访问页面

  import urllib.request
  proxies = {‘http’: ‘http://proxy.example.com:8080/’}
  opener = urllib.request.FancyURLopener(proxies)
  with opener.open(“http://www.python.org”) as f:
  f.read().decode(‘utf-8’)