爬虫的基本原理和基本库使用
爬虫简单来说就是获取网页并提取和保存信息的自动化程序。
获取网页
获取网页的源代码:向网站的服务器发送一个请求,返回的响应体便是网页源代码。
提取信息
分析网页源代码,从中提取我们想要的数据。最通用的方式便是采用正则表达式提取
保存数据
将提取到的数据保存到某处以便以后使用
自动化程序
利用爬虫代替我们完成这份爬取工作的自动化程序
爬虫过程中遇到的一些情况:比如403错误,打开网页一看,可能会看到"您的ip访问频率过高"这样提示,是因为网站采用了一些反爬虫的措施,这个时候我们可以使用代理,所谓的代理,就是代理服务器,就是一个网络信息的中转站,正常请求一个网站的时候,是发送给web服务器,web服务器吧响应传回给我们,如果我们设置了代理服务器,就相当于本机和服务器之间搭了一座桥,本机向代理服务器发送请求,再由代理服务器发送给Web服务器。再由代理服务器把web服务器返回的响应转发本机,这样我们就实现了IP伪装
网上免费代理比较多,但最好筛选一下可用代理,付费的质量会比免费代理好很多
然后我们正式来开始学习爬虫的一些基本使用库(python3环境),这里我们用的是pycharm软件
使用urllib
Urlopen
Urllib.request模块提供了最基本的构造HTTP请求的方法,可以利用它模拟浏览器一个请求发起的过程,这里我们以python官网为例
import urllib.requestresponse=urllib.request.urlopen('https://www.python.org')print(response.read().decode('utf-8'))
![61ee5033eec84dafb98fd94e6478e07e.png](https://i-blog.csdnimg.cn/blog_migrate/408669922ab3b008c579ceb8695ad926.jpeg)
这样我们就完成了python官网的抓取
2.Type
然后我们可以用type()方法输出响应的类型
import urllib.requestresponse=urllib.request.urlopen('https://www.python.org')print(type(response))
![f3a60659371c8c869f8d48f14163e9bc.png](https://i-blog.csdnimg.cn/blog_migrate/29cbd17e55b58b779d3f34540a8323bd.jpeg)
可以发现他是一个HTTPResponse类型对象,主要包含read(),readinto(),getheader(name),getheaders()等方法。
我们可以把它赋值为response变量,然后就可以调用这些方法和属性,得到返回结果的一系列信息了
例如:
import urllib.requestresponse=urllib.request.urlopen('https://www.python.org')print(response.status)
![7cbb259f655d79a8b5d66d1e624965e0.png](https://i-blog.csdnimg.cn/blog_migrate/bf8e57d87420c6336a31c9f3c970d1b0.jpeg)
返回200代表请求成功,在本篇文章末尾会有一张状态码表,可以进行对照
import urllib.requestresponse=urllib.request.urlopen('https://www.python.org')print(response.getheaders())
![1c3d5df098d2e9fe810e49333b83957f.png](https://i-blog.csdnimg.cn/blog_migrate/d1a7112a7dedb31ce9674cc92b348898.jpeg)
输出响应的状态码和响应的头信息import urllib.requestresponse=urllib.request.urlopen('https://www.python.org')print(response.getheader('Server'))
![b3b2ee0971ab35a0d3275d6c5e4be8f7.png](https://i-blog.csdnimg.cn/blog_migrate/f02e2188f190c4da14a8bb4b43277c12.jpeg)
传递了一个server值获取了响应头中的server值,返回的意思是服务器用nginx搭建的
如果想给链接传一些参数:
DATA参数:如果添加该函数,需要使用byte()方法将参数转化为字节流编码格式的内容,如果传递了这个函数,则它的请求方式就不是GET方式,而是POST方式,这里我们请求站点是http://httpbin.org/post,他可以测试post
import parseimport urllib.requestdata=bytes(urllib.parse.urlencode({'word':'Hello'}),encoding='utf-8')#将字符转化为字符串response=urllib.request.urlopen('http://httpbin.org/post',data=data)print(response.read())
![8373cb8dd40665dae8a808dade676383.png](https://i-blog.csdnimg.cn/blog_migrate/bd8a714dfa5dd498602ab1eb7f6ffc8c.jpeg)
可以看到我们传递的参数在form字段中
timeout参数:用于设置超时时间(s),如果超出设置的时间没有得到相应,就会抛出异常,不指定参数就会使用全局默认时间
import urllib.requestresponse=urllib.request.urlopen('http://httpbin.org/get',timeout=1)print(response.read())
![0c5a9d0b2758fd3b9a38c02ecb881422.png](https://i-blog.csdnimg.cn/blog_migrate/c1847f34688dd18b2836bbf438a21a5d.jpeg)
因为我们设置的时间1秒,超过1秒后服务器没响应,因此抛出异常
因此我们可以设置这个超时时间来控制一个网页长时间没有响应后,就跳过它的抓取
import socketimport urllib.requestimport urllib.errortry: response=urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)except urllib.error.URLError as e: if isinstance(e.reason,socket.timeout): print('TIME OUT')
![76c36e61c93e3ba7cedfa2e1134ff170.png](https://i-blog.csdnimg.cn/blog_migrate/ed72ac6a66d0ea29b69623164286a7b7.jpeg)
设置时间为0.1s,因为太短了得不到服务器响应,因此打印timeout
Request
我们知道利用urlopen()方法可以实现最基本的请求发起,但这几个简单参数不足以构建个完整的请求,如果请求中需要加入Headers等信息,可以利用Request来构建
from urllib import request,parseurl='http://httpbin.org/post'headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)','Host':'httpbin.org'}dict={ 'name' :'Germey'}data=bytes(parse.urlencode(dict),encoding='utf-8')req=request.Request(url=url,headers=headers,method='POST')response=request.urlopen(req)print(response.read().decode('utf-8'))
构造了四个函数,url即请求URL,headers中置顶了User=Agent和HOST,参数data用urlencode()和bytes()方法转成了字节流,另指定了POST
![5fc848afc09a87e96999590c3546cac0.png](https://i-blog.csdnimg.cn/blog_migrate/a916c85f5f4871fcf047850871dc5803.jpeg)
我们成功设置了data,headers和method
最后喜欢我文章的朋友请加圈子关注我们,加我们的qq群:251573549
每天都会更新信息安全福利给大家哦,小编也会在群里一一为大家解决问题