爬虫实例python3_Python3 爬虫实例（一）-- 简单网页抓取

履带之前,手工编写爬虫之前,您必须首先阐明知识线需要。首先:理解Http协议的相关知识Http是超文本传输协议的缩写(超文本传输协议)。发展是合作的结果,万维网联盟和互联网工程任务组(IETF)。(他们)终于发布了一系列的RFC,和RFC 1945定义的版本。其中最著名的是RFC 2616。常用的today-HTTP RFC 2616定义了一个版本。HTTP协议HTTP请求响应模型总是客户端发起一个请求和服务器发回一个响应。这限制了使用HTTP协议,服务器不可能把消息给客户端,客户端不发起一个请求。HTTP协议是一种无状态的协议。之间没有对应这个请求相同的客户机和最后的请求。工作流程一个HTTP操作被称为事务,和它的工作过程可以分为四个步骤:1)首先,客户端和服务器需要建立连接。

2)建立连接后,客户机发送一个请求到服务器。请求的格式是:统一资源标识符(URL),协议版本号,其次是MIME信息包括请求修饰符,客户信息,和可能的内容。3)在收到请求时,服务器给出了对应的响应信息,状态栏的格式,包括信息的协议版本号,一个成功或错误代码,其次是MIME信息包括服务器信息、实体信息,和可能的内容。4)客户端接收服务器返回的信息,并将其显示在用户通过浏览器显示屏幕,然后客户端从服务器断开连接。如果一个错误发生在某个步骤的过程中,错误消息将被返回给客户端和输出显示屏幕上。对用户来说,这些过程是完成HTTP本身和用户只需要用鼠标点击,等待要显示的信息。第二:了解Python的urllib图书馆。

PyCharm -良好的Python IDE交互;提琴手\u2014\u2014一个web请求监控工具,我们可以用它来了解详细步骤发生在用户触发一个web页面请求;简单的web爬虫程序代码\u201D的第一个例子:一个简单的web爬虫爬豆瓣主页\u201C进口# URL URL = \#打印各种信息抓取的网页打印(类型(响应))打印(())(())打印打印(())的结果截取的部分结果如下: