python简单爬虫代码-Python爬虫――写出最简单的网页爬虫

最近对python爬虫有了强烈地兴趣，在此分享自己的学习路径，欢迎大家提出建议。我们相互交流，共同进步。

1.开发工具

笔者使用的工具是sublime text3，它的短小精悍(可能男人们都不喜欢这个词)使我十分着迷。推荐大家使用，当然如果你的电脑配置不错，pycharm可能更加适合你。

sublime text3搭建python开发环境推荐查看此博客：

[sublime搭建python开发环境][http://www.cnblogs.com/codefish/p/4806849.html]

2.爬虫介绍

爬虫顾名思义，就是像虫子一样，爬在Internet这张大网上。如此，我们便可以获取自己想要的东西。

既然要爬在Internet上，那么我们就需要了解URL，法号"统一资源定位器”，小名"链接”。其结构主要由三部分组成：

(1)协议：如我们在网址中常见的HTTP协议。

(2)域名或者IP地址：域名，如：www.baidu.com，IP地址，即将域名解析后对应的IP。

(3)路径：即目录或者文件等。

3.urllib开发最简单的爬虫

(1)urllib简介

Module

Introduce

urllib.error

Exception classes raised by urllib.request.

urllib.parse

Parse URLs into or assemble them from components.

urllib.request

Extensible library for opening URLs.