爬虫python爬取页面请求_Python爬虫《爬取get请求的页面数据》

最新推荐文章于 2022-05-07 14:33:13 发布

weixin_39550258

最新推荐文章于 2022-05-07 14:33:13 发布

阅读量268

点赞数

文章标签：爬虫python爬取页面请求

本文链接：https://blog.csdn.net/weixin_39550258/article/details/113720744

版权

本文介绍了Python的urllib库在爬虫中的应用，包括如何使用urllib.request和urllib.parse进行GET请求，爬取网页数据并存储。通过示例展示了爬取百度首页、将数据写入文件、保存网络图片以及处理非ASCII编码URL的方法。同时，还探讨了自定义请求对象以伪装User-Agent来应对反爬虫策略。

摘要由CSDN通过智能技术生成

一.urllib库

urllib是Python自带的一个用于爬虫的库，其主要做用就是能够经过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。html

二.由易到难的爬虫程序：

1.爬取百度首页面全部数据值

#!/usr/bin/env python

# -*- coding:utf-8 -*-

#导包

import urllib.request

import urllib.parse

if __name__ == "__main__":

#指定爬取的网页url

url = 'http://www.baidu.com/'

#经过urlopen函数向指定的url发起请求，返回响应对象

reponse = urllib.request.urlopen(url=url)

#经过调用响应对象中的read函数，返回响应回客户端的数据值(爬取到的数据)

data = reponse.read()#返回的数据为byte类型，并不是字符串

print(data)#打印显示爬取到的数据值。

#补充说明

urlopen函数原型：urllib.request.urlopen(url, data=None, timeout=, *, cafile=None, capath=None, cadefault=False, context=None)

在上述案例中咱们只使用了该函数中的第一个参数url。在平常开发中，咱们能用的只有url和data这两个参数。

url参数：指定向哪一个url发起请求

data参数：能够将post请求中携带的参数封装成字典的形式传递给该参数(暂时不须要理解，后期会讲)

urlopen函数返回的响应对象，相关函数调用介绍：

response.headers()：获取响应头信息

response.getcode()：获取响应状态码

response.geturl()：获取请求的url

response.read()：获取响应中的数据值(字节类型)

2.将爬取到百度新闻首页的数据值写入文件进行存储

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import urllib.request

import urllib.parse

if __name__ == "__main__":

url = 'http://news.baidu.com/'

reponse = urllib.request.urlopen(url=url)

#decode()做用是将响应中字节(byte)类型的数据值转成字符串类型

data = reponse.read().decode()

#使用IO操做将data表示的数据值以'w'权限的方式写入到news.html文件中

with open('./news.html','w') as fp:

fp.write(data)

print('写入文件完毕')

3.爬取网络上某张图片数据，且存储到本地

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import urllib.request

import urllib.parse

#以下两行代码表示忽略https证书，由于下面请求的url为https协议的请求，若是请求不是https则该两行代码可不用。

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

if __name__ == "__main__":

#url是https协议的

url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1536918978042&di=172c5a4583ca1d17a1a49dba2914cfb9&imgtype=0&src=http%3A%2F%2Fimgsrc.baidu.com%2Fimgad%2Fpic%2Fitem%2F0dd7912397dda144f04b5d9cb9b7d0a20cf48659.jpg'

reponse = urllib.request.urlopen(url=url)

data = reponse.read()#由于爬取的是图片数据值(二进制数据)，则无需使用decode进行类型转换。

with open('./money.jpg','wb') as fp:

fp.write(data)

print('写入文件完毕')

4.url的特性：

url必须为ASCII编码的数据值。因此咱们在爬虫代码中编写url时，若是url中存在非ASCII编码的数据值，则必须对其进行ASCII编码后，该url方可被使用。python

案例：爬取使用百度根据指定词条搜索到的页面数据(例如爬取词条为‘周杰伦’的页面数据)浏览器

82e29bde668a4f6b9f98a7c9.html

#!/usr/bin/env python

#-*- coding:utf-8 -*-import urllib.request

import urllib.parseif __name__ == "__main__":

#原始url中存在非ASCII编码的值，则该url没法被使用。

#url= 'http://www.baidu.com/s?ie=utf-8&kw=周杰伦'#处理url中存在的非ASCII数据值

url= 'http://www.baidu.com/s?'#将带有非ASCII的数据封装到字典中，url中非ASCII的数据每每都是'?'后面键值形式的请求参数

param={'ie':'utf-8','wd':'周杰伦'}

#使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码

param=urllib.parse.urlencode(param)

#将编码后的数据和url进行整合拼接成一个完整可用的url

url= url +param

print(url)

response= urllib.request.urlopen(url=url)

data=response.read()

with open('./周杰伦.html','wb') asfp:

fp.write(data)

print('写入文件完毕')

View Code

5.经过自定义请求对象，用于假装爬虫程序请求的身份。

以前在讲解http经常使用请求头信息时，咱们讲解过User-Agent参数，简称为UA，该参数的做用是用于代表本次请求载体的身份标识。若是咱们经过浏览器发起的请求，则该请求的载体为当前浏览器，则UA参数的值代表的是当前浏览器的身份标识表示的一串数据。若是咱们使用爬虫程序发起的一个请求，则该请求的载体为爬虫程序，那么该请求的UA为爬虫程序的身份标识表示的一串数据。有些网站会经过辨别请求的UA来判别该请求的载体是否为爬虫程序，若是为爬虫程序，则不会给该请求返回响应，那么咱们的爬虫程序则也没法经过请求爬取到该网站中的数据值，这也是反爬虫的一种初级技术手段。那么为了防止该问题的出现，则咱们能够给爬虫程序的UA进行假装，假装成某款浏览器的身份标识。网络

上述案例中，咱们是经过request模块中的urlopen发起的请求，该请求对象为urllib中内置的默认请求对象，咱们没法对其进行UA进行更改操做。urllib还为咱们提供了一种自定义请求对象的方式，咱们能够经过自定义请求对象的方式，给该请求对象中的UA进行假装(更改)操做。ide

82e29bde668a4f6b9f98a7c9.html

#!/usr/bin/env python

#-*- coding:utf-8 -*-import urllib.request

import urllib.parse

import ssl

ssl._create_default_https_context=ssl._create_unverified_contextif __name__ == "__main__":

#原始url中存在非ASCII编码的值，则该url没法被使用。

#url= 'http://www.baidu.com/s?ie=utf-8&kw=周杰伦'#处理url中存在的非ASCII数据值

url= 'http://www.baidu.com/s?'#将带有非ASCII的数据封装到字典中，url中非ASCII的数据每每都是'?'后面键值形式的请求参数

param={'ie':'utf-8','wd':'周杰伦'}

#使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码