DAY15:Python网络爬虫之规则

#题目来自北航嵩天老师mooc作业，笔记主要用于复习所用
网络爬虫：定向掌握网络数据爬取和网页解析的基本能力
The website is API 把网站当成API
API全称Application Programming Interface，即应用程序编程接口。
通俗的讲API就是接口，就是通道，负责一个程序和其他软件的沟通，本质是预先定义的函数。API通常是以Http的形式提供，它隐藏的含义就是，只要你符合我定义的标准，你就可以来使用我。
一、主要教授内容
1、Requests库：自动爬取HTML页面，自动网络请求提交
2、robots.txt：网络爬虫排除标准，robots协议
3、Beautiful Soup：解析HTML页面
4、Projects：实战项目
5、Re：正则表达式详解，提取页面关键信息
6、Scrapy*：网络爬虫原理介绍，专业爬虫框架介绍。
二、python语言开发工具
IDE是主要的python程序
IDE：集成开发环境，编写调试发布python程序的工具
常用的IDE工具：
1、文本工具类：IDLE(自带、默认常用、入门级),Notepad++,**SublimText(专为程序员开发的编写工具，多种编写工具) **,Vim&Emacs,Atom,Komodo edit
2、集成工具类：PyCharm(社区版免费，简单，集成度高，适合复杂工程),Wing,PyDev&Eclipse,VisualStudio,Anaconda(开源免费，科学计算，数据分析)&Spyder,Canopy
找到适合自己的IDE
三、Requests库入门
1、Requests库的七个主要方法
requests.request()
requests.get()
requests.head()
requests.post()
requests.put()
requests.patch()
requests.delete()
2、r=requests.get(url)：构造一个向服务器请求资源的Request对象
返回一个包含服务器资源的Response对象
r=requests.get(url,params=None,kwargs)
params:额外参数，字典或字节流格式，可选
kwaygs:12个控制访问的参数
response对象：response包含服务器返回的所有信息，也包含请求的request信息
response对象的属性：r.status-code，r.text，r.encoding，r.apparent-encoding
r.content
四、爬取网页的通用代码框架
1、理解requests库的异常：requests.ConnectionError，requests.HTTPError
requests.URLRequired，requests.TooManyRedirects
requests.ConnectTimeout，requests.Timeout
2、理解response的异常：r.raise-for-status 在方法内部判断r.status-code是否等于200，不
用增加额外的if判断语句，更加方便的用try-except语句

import requests
def getHTMLText(url):
try:
r=requests.get(url)
r.raise_for_status()
r.encoding=r,apparent_encoding
return r.text
except:
return "产生异常"

if name==“main”:
url=“http://www.baidu.com”
print(getHTMLText(url))

3、HTTP协议
HTTP：超文本传输协议，是一个基于“请求与响应”模式的、无状态的应用层协议，采用 URL作为定义网络资源的标识，URL格式：http://host[:port] [path]
host：合法的internet主机域名或IP地址
port：端口号，缺省端口为80
path：请求资源的路径
Http URL实例：http://www.bit.edu.cn
http://220.181.111.188/duty
Http URL实例：URL是通过HTTP协议存取资源的Internet途径，一个URL对应一个数据资
源
Http协议对资源的操作方法：GET HEAD POST PUT PATCH DELETE
4、**requests.request(method,url,kwargs)
method：请求方式，对应put，get等七种
url：拟获取页面的网页连接
**kwargs：控制访问的参数，共13个
13个分别为：parama，data，json，headers，cookies，auth，files，timeout， prixies，allow-redirects，stream，verify，cert
5、requests.get(url，params=None,**kwargs)
requests.head(url，**kwargs)
requests.post(url，data=None,json=None，**kwargs)
requests.put(url，data=None,**kwargs)
requests.patch(url，data=None,**kwargs)
requests.delete(url，**kwargs)
五、网络爬虫的盗亦有道
网络爬虫的尺寸：requests库，scrapy库，定制开发
1、网络爬虫的限制
来源审查：判断User-Agent进行限制
检查来访HTTP协议头的User-Agent域，只响应浏览器或友好爬虫的访问
发布公告：Robots协议
告知所有爬虫网站的爬取策略，要求爬虫遵守
2、Robots协议：网络爬虫排除标准
作用：网站告知网络爬虫哪些页面可以抓取，哪些不行
形式：在网站根目录下的Robots.txt协议
例如：https://www.jd.com/robots.txt
3、实际操作中，如何遵守Robots协议？