我将我学习网络爬虫认为重要的资料放在这里,主要是给我自己看的,顺便分享给大家。
网络爬虫就是用来获取网络资源的绝佳手段,其技术基于网页标签格式的工整性。
我们选择什么工具?
IDLE(自带,简单)
pycharm(专业,复杂)
request库
自动爬取HTML页面,自动网络请求提交。
request安装
以管理员权限启动cmd
输入
pip install requests
打开idle
输入
import requests
r = requests.get("http://www.baidu.com")
print(r.status_code)
r.text
requests.request() : 构造一个请求,支撑以下各方法的基础方法
request.get() : 获取HTML网页的主要方法,对应于HTTP的GET
request.head() : 获取HTML网页头信息的方法,对应于HTTP的HEAD
request.post() : 向HTML网页提交POST请求的方法,对应于HTTP的POST
request.put() : 向HTML网页提交PUT请求的方法,对应于HTTP的PUT
request.patch() : 向HTML网页提交局部修改请求,对应于HTTP的PATCH
request.delete() : 向HTML网页提交删除请求,对应于HTTP的DELETE
request库的get方法
爬取网页的通用代码框架
import requests
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status() #如果状态不是200,引发HTTPRerror异常
r.encoding = r.apparent_encoding
return "产生异常"
if __name__"__main":
url = "http://www.baidu.com"
print(getHTMLText(url))
HTTP协议及Requests方法
Requests主要方法解析