Python Requests的更多设置

获取网站最简单的方法

import requests
page = request.get(url)

.

根据应用场景，可能要加入其它参数

1. 为防页面响应时间过长，影响后面的程序运行，可以给程序限制时间：
2. 为防爬虫限制，可以设置headers
   在我个人的应用场景中，各大网站要不随便我访问，要不封锁我的IP，并不看user-agent
3. 为防网站注明的编码方式和实际的编码方式不一样，在获得网页后，输出网页内容前，需要处理编码方式
   原理：根据网站的全部内容判断其编码方式。消耗一点计算资源，访问五花八门的网站时，有必要加此操作
4. 程序出错时，为了便于解决问题，需要获取错误代码【status_code】

import requests

def get_page():
	data = {'user-agent':"Mozilla/5.0"}
	page = requests.get(url, headers = data, timeout = 30)
	print(page.status_code)
	page.encoding = page.apparent_encoding
	return page.text

get_page()

.

调试完成后，加上try…except…结构

当程序调试后，大部分的问题都已妥善处理时，可以用try…excep…t结构，防止程序因小错误、罕见的错误中断

import requests

def get_page():
	try:
		data = {'user-agent':"Mozilla/5.0"}
		page = requests.get(url, headers = data, timeout = 30)
		print(page.status_code)
		page.encoding = page.apparent_encoding
		return page.text
	except:
		pass

get_page()