一、网络爬虫之入门(1)

1.requests库的安装，以管理员模式运行cmd 输入以下命令

pip install requests

pycharm安装requests：在File-> Settings -> Project Interpreter中安装requests库

2.测试安装效果

import requests

r= requests.get('http://www.baidu.com')
#状态码 200为访问成功
print(r.status_code)
print(r.apparent_encoding)
r.encoding = 'utf-8'
print(r.text)

网页数据获取成功

3.requests的主要方法：

requests.get()：

requests.get(url, params=None, **kwargs)

url : 拟获取页面的url链接
params : url中的额外参数，字典或字节流格式，可选
**kwargs: 12个控制访问的参数

requests.get()是一个request请求 返回一个response对象
response：包含爬虫返回的内容

>>> import requests
>>> r = requests.get('http://www.baidu.com')
>>> type(r)
<class 'requests.models.Response'>
>>> r.headers
{'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'keep-alive', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html', 'Date': 'Tue, 14 Jul 2020 14:39:24 GMT', 'Last-Modified': 'Mon, 23 Jan 2017 13:27:36 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}
>>> 

Response对象的属性：

r.encoding：如果header中不存在charset，则认为编码为ISO‐8859‐1
r.text根据r.encoding显示网页内容
r.apparent_encoding：根据网页内容分析出的编码方式（更加准确）
可以看作是r.encoding的备选

4.requests库的异常：

5.爬取网页的通用代码框架：

import requests

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()#如果状态不是200 引发HTTPError
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '产生异常'
if __name__ == '__main__':
    url = 'http://www.baidu.com'
    print(getHTMLText(url))

6.HTTP协议及Requests库方法：

HTTP，Hypertext Transfer Protocol，超文本传输协议
HTTP是一个基于“请求与响应”模式的、无状态的应用层协议
HTTP协议采用URL作为定位网络资源的标识，URL格式如下：
http://host[:port][path]
host: 合法的Internet主机域名或IP地址
port: 端口号，缺省端口为80
path: 请求资源的路径

HTTP URL的理解：

URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源

HTTP对资源的操作：

7.HTTP协议对资源的操作：

patch和put的区别

假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段
需求：用户修改了UserName，其他不变

• 采用PATCH，仅向URL提交UserName的局部更新请求
• 采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除

PATCH的最主要好处：节省网络带宽

8.HTTP协议与requests库：

requests库的head()方法展示网络资源的概要信息

>>> import requests
>>> r = requests.head('http://httpbin.org/get')
>>> r.headers
{'Date': 'Tue, 14 Jul 2020 15:31:47 GMT', 'Content-Type': 'application/json', 'Content-Length': '305', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true'}
>>> r.text
''
>>> 

requests库的post方法

向URL POST一个字典，自动编码为form（表单）：

>>> import requests
>>> payload = {'key1':'value1','key2':'value2'}
>>>> r= requests.post('http://httpbin.org/post',data = payload)
>>>> print(t.text)
>>>> print(r.text)
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.24.0", 
    "X-Amzn-Trace-Id": "Root=1-5f0dd153-67dd16d5a4e31d60903a9cf0"
  }, 
  "json": null, 
  "origin": "111.50.41.71", 
  "url": "http://httpbin.org/post"
}

>>> 

向URL POST一个字符串，自动编码为data

>>> payload = 'abc'
>>> r = requests.post('http://httpbin.org/post',data = payload)
>>> print(r.text)
{
  "args": {}, 
  "data": "abc", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "3", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.24.0", 
    "X-Amzn-Trace-Id": "Root=1-5f0dd235-5923b0860d6cfd33ca7f555f"
  }, 
  "json": null, 
  "origin": "111.50.41.71", 
  "url": "http://httpbin.org/post"
}

>>> 

9.主要方法解析：

requests.request(method, url, **kwargs)

• method : 请求方式，对应get/put/post等7种
  = requests.request(‘GET’, url, **kwargs)
  r = requests.request(‘HEAD’, url, **kwargs)
  r = requests.request(‘POST’, url, **kwargs)
  r = requests.request(‘PUT’, url, **kwargs)
  r = requests.request(‘PATCH’, url, **kwargs)
  r = requests.request(‘delete’, url, **kwargs)
  r = requests.request(‘OPTIONS’, url, **kwargs)
• url : 拟获取页面的url链接
• **kwargs: 控制访问的参数，共13个：
  params : 字典或字节序列，作为参数增加到url中

>>> kv= {'k1':'v1','k2':'v2'}
>>> r = requests.request('GET','http://python123.io/ws',params = kv)
>>> print(r.url)
https://python123.io/ws?k1=v1&k2=v2
>>> 

data : 字典、字节序列或文件对象，作为Request的内容

>>> kv= {'k1':'v1','k2':'v2'}
>>> r = requests.request('POST','http://python123.io/ws',data = kv)

json : JSON格式的数据，作为Request的内容

>>> kv= {'k1':'v1','k2':'v2'}
>>> r = requests.request('POST','http://python123.io/ws',json = kv)

headers : 字典，HTTP定制头

>>> hd = {'user‐agent': 'Chrome/10'}
>>> r = requests.request('POST', 'http://python123.io/ws', headers=hd)

cookies : 字典或CookieJar，Request中的cookie

auth : 元组，支持HTTP认证功能

files : 字典类型，传输文件

>>> fs = {'file': open('data.xls', 'rb')}
>>> r = requests.request('POST', 'http://python123.io/ws', files=fs)

timeout : 设定超时时间，秒为单位

>>> r = requests.request('GET', 'http://www.baidu.com', timeout=10)

proxies : 字典类型，设定访问代理服务器，可以增加登录认证

>>> pxs = { 'http': 'http://user:pass@10.10.10.1:1234'
'https': 'https://10.10.10.1:4321' }
>>> r = requests.request('GET', 'http://www.baidu.com', proxies=pxs)

allow_redirects : True/False，默认为True，重定向开关
stream : True/False，默认为True，获取内容立即下载开关
verify : True/False，默认为True，认证SSL证书开关
cert : 本地SSL证书路径

requests.get(url, params=None, **kwargs):

• url : 拟获取页面的url链接
• params : url中的额外参数，字典或字节流格式，可选
• **kwargs: 12个控制访问的参数

requests.head(url, **kwargs):

• url : 拟获取页面的url链接
• **kwargs: 12个控制访问的参数

requests.post(url, data=None, json=None, **kwargs):

• url : 拟更新页面的url链接
• data : 字典、字节序列或文件，Request的内容
• json : JSON格式的数据，Request的内容
• **kwargs: 12个控制访问的参

requests.put(url, data=None, **kwargs):

• url : 拟更新页面的url链接
• data : 字典、字节序列或文件，Request的内容
• **kwargs: 12个控制访问的参数

requests.patch(url, data=None, **kwargs):

• url : 拟更新页面的url链接
• data : 字典、字节序列或文件，Request的内容
• **kwargs: 12个控制访问的参数

requests.delete(url, **kwargs):

• url : 拟删除页面的url链接
• **kwargs: 12个控制访问的参数

requests.get(url, params=None, **kwargs):

• url : 拟获取页面的url链接
• params : url中的额外参数，字典或字节流格式，可选
• **kwargs: 12个控制访问的参数