Python网络爬虫与信息提取（1）

Requests库

功能：自动爬取HTML页面，自动网络请求提交

Request库的安装

“以管理员身份运行”cmd，执行 pip install requests

Requests库七个方式

Requests库的get()方法

1.r.status_code

r.requests,get("http://www.baidu.com")
r.status_code
##若显示404或其他说明某些原因出错将产生异常，若显示200则正常##

2.r.encoding
从HTTP header中猜测的响应内容编码方式
如果header中不存在charset，则认为编码为IS0-8859-1【无法解析中文】
r . text根据 r.encoding 显示网页内容

3.r.apparent_encoding
从内容中分析出的响应内容编码方式（备选编码方式）
根据网页内容分析出的编码方式
可以看作是 r . encoding 的备选

爬取网页的通用代码框架

##以抓取京东商品页面的爬取为例##
import requests
url = "https://item.jd.hk/100002478996.html"
try:
	r = requests.get(url)
	r.raise_for_status()##如果不是200，产生异常##
	r.encoding = r.apparent_encoding
	print(r.text[:1000])
except:
	print("爬取失败")

实例：亚马逊商品页面的爬取【反爬虫网站】