Python3.5 爬虫之由浅入深（一、get单一网页）

Python3.5 爬虫之由浅入深（一、get网页）

望共同进步

转载请注明地址：http://mp.blog.csdn.net/postedit/79527224

首先的安装requests模块，这里安装和前面讲到的安装xlrd模块类似，详见http://blog.csdn.net/weixin_39701039/article/details/79492672

安装好requests模块之后，就可以开始导入import requests 来开始些代码了

代码如下：

#coding:utf-8
#python3.5.1

import requests
import time


#这里以我的微博网址为例
url = 'http://blog.csdn.net/weixin_39701039'

#定义请求头部
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}

#'User-Agent'为代理，方便爬虫

response = requests.get(url,headers = headers,timeout = 60)  #url为传入网址参数；headers为请求头部；timeout为设置反应延迟时间，这里意味着延迟超过60s则放弃
response.encoding = 'utf-8'  #编码

with open(r'G:\任务20180312' + '/' + 'python初学.html','wb') as f:  #wb： w表示写入，b表示二进制，  wb表示以二进制文件写入
    #response.content 为获取的二进制文件
    f.write(response.content)

我们爬取网页的过程大致分四步：

第一步：获取需要爬取的url（当然这里不用，因为是单一的url已经给出，后面会将多个url的爬取）；

第二步：将url发送请求到服务器（requests.get（url，...））；

第三步：服务器将内容发送到客户端（也就是我们的电脑上response = requests.get（））；

第四步：保存内容到对应的文件位置（with....到结束部分）。

为了方便理解，可以看下http协议部分，这里我没有做总结，以后有机会再做

如下图就是获取的结果了

多个网页的下载请转http://blog.csdn.net/weixin_39701039/article/details/79535578

望有所帮助，望采纳！