python爬虫requests模块

首先，没有安装的先安装->cmd-> pip(conda) install requests

先给大家一个模板，如果已经很熟悉了，直接忽略，不懂得就可以看看了

接下来解释一下相应的代码的意思：

这个和上和上面的是一样的，执行后输出的代码都是一样的啦

# -*- coding:utf-8 -*-

# 引入网络请求模块,该模块有两个重要的对象request和response

import requests

# 网址

name_url = 'http://gitbook.cn/gitchat/hot'

# 发送一个无参数get请求，返回一个response对象r,可以利用这个对象得到我们所需要的所有信息

# r.status_code HTTP请求的返回状态，200表示连接成功，404表示失败

# r.text HTTP响应内容的字符串形式，即url对应的页面内容

# r.encoding 从HTTP header中猜测的响应内容编码方式(

# r.apparent_encoding 从内容中分析出的响应内容编码方式（备选编码方式）

# r.content HTTP响应内容的二进制形式

r = requests.get(chat_url)

# 检查请求是否成功

r.raise_for_status()

# 从响应内容中分析出编码方式

r.encoding = r.apparent_encoding

# 获取返回信息

r.text

# 输出文本信息

print(r.text)

get方法获取网上资源的基本流程：用r.status_code检查返回状态 ,
情况1：如果是200，可以用r.text、r.encoding、r.apparent_encoding、r.content解析返回的内容；
情况2：返回的是404或者其他，则访问不成功

r.encoding和r.apparent_encoding的区别
r.encoding：如果header中不存在charset，则认为编码为ISO-8859-1
r.apparent_encoding:根据网页内容分析出的编码方式
综上所述，r.apparent_encoding比r.encoding更为准确