基于python的网络爬虫编程_基于Python的网络爬虫程序设计

程序设计 ●Program Design 基于 Python的网络爬虫程序设计 网络 信 息量 的迅 猛 增 长，对 如何从海量的信息中准确的搜索 到用户需要的信息提 出了极大的 挑战。网络爬 虫具有能够 自动提 取 网 页信 息的 能力 。本文 根据 某 信息网的特点，提出了一种基于 Python的聚 焦爬 虫程序 设 计。 实 验结果表明：本程序具有针对性 强，数据采集速度快、简单等优点， 有利于对其它的数据进行后续的 挖掘研究 。 【关键 词】网络爬 虫 Python 1爬虫技术 网 络 爬 虫， 又 称 网 页 蜘 蛛 (web spider)，是一个功能强大的能够 自动提取网 页信息 的程序 ，它模仿浏览器访 问网络 资源 ， 从而获取用户 需要的信息 ，它可 以为搜索 引擎 从万维网上下载网页信息，因此也是搜索引擎 的重要组成 部分。 根 据爬 取 的对 象、使 用 的结 构及 技术 ， 爬 虫可分 为： 1．1通用型爬 虫 该爬 虫又 称为 全 网爬 虫，主 要用 在搜 索 引擎，从初始的URL到全网页面，但需要的 存储容量大，速度要求快，工作性能强大。 1．2聚焦型爬 虫 该 爬 虫专注 某 一方 面， 只搜索 事 先定 义 的关键信 息。 1．3增 量型爬虫 每隔一段时间更新，重新爬取，更新数 据库 。 1．4 深层 爬 虫 该爬 虫 一般 需要 登录 提交 数据 ，才 能进 入页面提取信息 。 利 用网 络爬 虫 ，能够 帮助 用户 解 决上 网 浏览过程 中的一些信息的快速抓取及保存 。比 如 日常 上网浏览网页过程 中，经常会看 到一些 喜欢的图片，希望保存下来作为素材使用，一 般 的方法 就是通 过单击 鼠标右键选择 另存 为来 保存图片 ，如果批量保存 图片工 作量会比较大， 而利用设计 的网络爬虫来爬取 图片 ，自动化 处 文／郭丽蓉 表 1：各个数据定位的 Class 理，快速高效。同时，利用爬虫可以获取大量 的感性认识中得不到有价值数据 ，为一些决策 提供依据。 2 Python概述 Python语 言是一 种 功能 强大 面 向对 象 的 解释型计算机程序 设计 语言，能有效而且简单 地实现面 向对象编程 。~thon语言属于语法简 洁清晰 的开源编程 语言，特色之一是强制用 空 白符 (white space)作为语句缩进。 Python具 有丰 富 的标 准库 和强 大 的第 三 方库。它常被昵称为胶水语言，能够和其他语 言制 作的各种模块 (尤其是 C／c++)很轻松地 联 结在一起，易于扩展 。常见 的一种应用情形 是，使用 Python快速生成程序 的原型 (有时 甚至是程序的最终界面 )，然 后可 以用更合适 的语言改写其中有特别要求的部分，比如对于 性能要求特别高的3D游戏中的图形渲染模块， 完全可 以用 C／C++重写封 装为 N on可 以调 用的扩展类库 。 在 使用 之 前，必 须搭 建好 使 用环 境 。到 Python官 网下 载针 对用 户所 使 用 的操作 系 统 Python版本来安装 ，安装完成后 需要 设置 环境 变量便 于启动 Python。同时可 选择 一款合适的 编辑工 具来完 成爬虫的编写。 目前 Python的版 本 有 2．X 和 3．X。 两 者 主要在语法、编码、性能、模块上有些不同。 使用 Python开发爬虫的优点 ： (1)语言简洁 ，使用方便 。 (2)提供功能强大 的爬 虫框架 。 (3)丰富 的网络支持库及 网页解 析器 。 本文 中的爬虫 是在