网络爬虫笔记（一）：request库

我将我学习网络爬虫认为重要的资料放在这里，主要是给我自己看的，顺便分享给大家。
网络爬虫就是用来获取网络资源的绝佳手段，其技术基于网页标签格式的工整性。

我们选择什么工具？
IDLE（自带，简单）
pycharm（专业，复杂）

request库

自动爬取HTML页面，自动网络请求提交。

request安装

以管理员权限启动cmd
输入

pip install requests

打开idle
输入

import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
r.text

requests.request() : 构造一个请求，支撑以下各方法的基础方法
request.get() : 获取HTML网页的主要方法，对应于HTTP的GET
request.head() : 获取HTML网页头信息的方法，对应于HTTP的HEAD
request.post() : 向HTML网页提交POST请求的方法，对应于HTTP的POST
request.put() : 向HTML网页提交PUT请求的方法，对应于HTTP的PUT
request.patch() : 向HTML网页提交局部修改请求，对应于HTTP的PATCH
request.delete() : 向HTML网页提交删除请求，对应于HTTP的DELETE

request库的get方法

爬取网页的通用代码框架

import requests
def getHTMLText(url):
	try:
		r = requests.get(url, timeout=30)
		r.raise_for_status() #如果状态不是200，引发HTTPRerror异常
		r.encoding = r.apparent_encoding
		return "产生异常"
if __name__"__main":
	url = "http://www.baidu.com"
	print(getHTMLText(url))

HTTP协议及Requests方法

Requests主要方法解析