Python爬虫入门（一）--- 基础介绍

Python爬虫入门（一）

爬虫简介

网络爬虫（Web Spider）又称“网络蜘蛛”或“网络机器人”，它是一种按照一定规则从 Internet 中获取网页内容的程序。广为人知的“搜索引擎”就是最常见的爬虫程序，比如当我们使用百度引擎搜索关键字时，“百度蜘蛛”就会根据您输入的关键字去互联网资源中抓取相应的页面。

Python 爬虫指的是用 Python 语言来编写爬虫程序。除了 Python 外，其他语言也可以编写，比如 Java、PHP 等，不过相比较而言，Python 更为简单和实用。一方面， Python 提供了许多可以应用于爬虫的库和模块；另一方面， Python 语法简单、易读，更适合于初学者学习，因此 Python 爬虫几乎成了网络爬虫的代名词。网络爬虫主要用途是采集数据，它是数据分析不可或缺的工具之一。许多公司专门设立了 Python 爬虫工程师岗位，该岗位的职责就是为公司的业务拓展提供数据支持。除此之外，网络爬虫也给我们的生活带来便利，比如抢购火车票、飞机票等。

许多网站还有着“君子协定”：robots.txt。它规定了本网站上的哪些数据可以被爬取哪些数据不可以被爬取，当然，既然称之为君子协定，你如果想爬规定以外的数据当然还是可以爬取到的。

一个简单的爬虫测试

通过下列代码即可获得当前网站页面的基本源代码元素：