Python网络爬虫与信息提取(1)
![概要](https://i-blog.csdnimg.cn/blog_migrate/65644dea6b1993dbfe5430500c75f465.jpeg)
Requests库
功能:自动爬取HTML页面,自动网络请求提交
Request库的安装
“以管理员身份运行”cmd,执行 pip install requests
Requests库七个方式
Requests库的get()方法
1.r.status_code
r.requests,get("http://www.baidu.com")
r.status_code
##若显示404或其他说明某些原因出错将产生异常,若显示200则正常##
2.r.encoding
从HTTP header中猜测的响应内容编码方式
如果header中不存在charset,则认为编码为IS0-8859-1【无法解析中文】
r . text
根据 r.encoding
显示网页内容
3.r.apparent_encoding
从内容中分析出的响应内容编码方式(备选编码方式)
根据网页内容分析出的编码方式
可以看作是 r . encoding
的备选
爬取网页的通用代码框架
##以抓取京东商品页面的爬取为例##
import requests
url = "https://item.jd.hk/100002478996.html"
try:
r = requests.get(url)
r.raise_for_status()##如果不是200,产生异常##
r.encoding = r.apparent_encoding
print(r.text[:1000])
except:
print("爬取失败")
实例:亚马逊商品页面的爬取【反爬虫网站】