爬虫500 internal server error_爬虫的基本原理和基本库使用

爬虫的基本原理和基本库使用

爬虫简单来说就是获取网页并提取和保存信息的自动化程序。

获取网页

获取网页的源代码：向网站的服务器发送一个请求，返回的响应体便是网页源代码。

提取信息

分析网页源代码，从中提取我们想要的数据。最通用的方式便是采用正则表达式提取

保存数据

将提取到的数据保存到某处以便以后使用

自动化程序

利用爬虫代替我们完成这份爬取工作的自动化程序

爬虫过程中遇到的一些情况：比如403错误，打开网页一看，可能会看到"您的ip访问频率过高"这样提示，是因为网站采用了一些反爬虫的措施，这个时候我们可以使用代理，所谓的代理，就是代理服务器，就是一个网络信息的中转站，正常请求一个网站的时候，是发送给web服务器，web服务器吧响应传回给我们，如果我们设置了代理服务器，就相当于本机和服务器之间搭了一座桥，本机向代理服务器发送请求，再由代理服务器发送给Web服务器。再由代理服务器把web服务器返回的响应转发本机，这样我们就实现了IP伪装

网上免费代理比较多，但最好筛选一下可用代理，付费的质量会比免费代理好很多

然后我们正式来开始学习爬虫的一些基本使用库(python3环境),这里我们用的是pycharm软件

使用urllib

Urlopen

Urllib.request模块提供了最基本的构造HTTP请求的方法，可以利用它模拟浏览器一个请求发起的过程,这里我们以python官网为例

import urllib.requestresponse=urllib.re