Python3 网络爬虫——爬取简单的网页

本篇博客主要用于学习交流，用来记录自己学习过程中遇到的问题，所获得的感想，同时也为了方便以后的查找与回顾。另外也为了向各位前辈学习，纠正自己思考上的不足。文中可能会引用其他前辈的博客，文末会给出相应链接，侵删！

 

前言

自己一直想了解一些爬虫的知识及进行应用，从网上学习了一些前辈们的爬虫方法，用Python 3.6实现了简单的应用，爬取了百度翻译、有道翻译、谷歌翻译的页面。

 

1、爬虫定义

网络爬虫（又被称为Web Spider），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字，比如蚂蚁、自动索引、模拟程序或者蠕虫。如果把互联网比喻成一个蜘蛛网，Spider就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的地址（即URL）来寻找网页的。

URL，即统一资源定位符。在WWW上，每一个信息资源都有一个统一且唯一的地址，该地址就叫URL（Uniform Resource Locator），它是WWW的统一资源定位标志，也就是指网络地址。

URL的一般格式为： protocol :// hostname[:port] / path / [;parameters][?query]#fragment

      （1）protocol（协议）

指定使用的传输协议。 最常用的是HTTP协议，它也是目前WWW中应用最广的协议。

（2）hostname：主机名。

是指存放资源的服务器域名系统(DNS)的主机名或 IP 地址。有时，在主机名前也可以包含连接到服务器所需的用