Python（二十一）网页爬虫第一部分

一. 项目：爬取douban网页的top250影视信息

二. 操作流程以及问题

1.使用urllib获取get和post请求

当我们想要解析一个网址的时候需要用到urllib，在Python2中urllib2是常用来解析网址的库，但是在Python3中重新进行了整合，直接使用urllib中的函数即可。

1.1获取一个get请求

# 首先我们引入urllib库中的request，并调用request下的urlopen函数，这样便可以解析该网址

# 将解析获得的数据放置在response中，也就是一个object，对象

之后调用read，读取对象中的内容：

 # 但是我们可以看到读取的内容相当凌乱，我们再对其解码的模式进行指定，指定为UTF-8： 

 然后我们将下方文件的内容复制粘贴到一个新建的HTML文件当中，并将其打开：

# 用VSCODE编辑并写入Object信息，保存后，打开该HTML文件，就进入了我们解析数据的来源网页，百度。

1.2获取一个post请求

注：post需要一个获取请求之后的相应才行，我们用一个网址来先进行测试

网址：httpbin.org

A simple HTTP Request & Response Service，该网址罗列出了遇到请求时候给出的相应，我们可以用这个网址来验证我们的请求是否有得到相应。