迅速上手python网络爬虫

 

前言：

本文涉及的术语解释如下：

Python：一种解释型编程语言

网络爬虫：简单理解为是一种处理数据的框架

 

一、运行环境

您需要准备一台电脑，以Windows操作系统为例，上面装有如下软件：

1、谷歌chrome浏览器（安装方式省略）

2、python 3（安装软件的过程省略）

3、cmd命令提示符（自带）

 

 

二、数据清洗——整理网站的数据

1、使用chrome浏览器浏览数据

2、使用开发者工具定位到数据模块（您所需的内容）

3、使用csv文件保存源数据

 

三、数据爬取——获得网站的数据

1、编辑语句

爬取某租房网站的信息，以xxx作为项目名。需要抓取的字段有：标题、地址、价格、出租类型、评分，居住人数。在item.py文件中定义爬虫的字段信息。

关键源码如下：

from scrapy.item import Item,Field

 

class xxxItem(Item)

title = Field()

address = Field()

price = Field()

lease_type = Field()

suggestion = Field()

bed = Field()

 

pipeline.py文件用于爬虫数据的处理，打开文件，确认关键信息无误

class xxxPipeline(object):

def process_item(self,item,spider):

return item

需要将pipeline文件修改，以便获取在自己编写的.py文件中事先定义好的字段信息（抓取后的字段信息会自动保存在桌面，运行程序后，打开桌面上名为xxx.txt文件，就可以查看到所有抓取到的字段信息）

settings.py文件用于对爬虫项目进行一些基础设置，如请求头的填写，设置pipeline文件等。关键源码如下：

BOT_NAME = 'xxx'

 

SPIDER_MODULES = ['xxx.spiders']

NEWSPIDER_MODULE = 'xxx.spiders'

需要将settings文件修改，添加内容以便爬取指定的信息（下图第6行代码）

 

最后编写自己的.py文件，命名为myspider。关键源码如下

 

2、运行程序，查看效果

名为“xxx”的爬虫项目编写好后，可以开始运行Scrapy爬虫程序。

在命令提示符（cmd）输入：scrapy crawl xxx

在运行程序后，就可以在桌面找到xxx.txt的文本文件，可以查看已经抓取到的文件信息。

或者可以在爬虫项目文件夹内，新建一个__main__.py的文件来运行爬虫程序，并且过滤空白信息。关键源码如下

from scrapy import cmdline

cmdline.execute("scrapy crawl xxx".split())

 

四、书籍推荐

《零基础学Python网络爬虫》

扫描下方二维码，微信打赏并留言您的邮箱，可获得作者亲手整理的python知识笔记（PDF电子版，含Python源码示例），仅需9.9元！

读书笔记目录如下图：包含Python知识点、Python项目案例、Python面试题库。

 

Python源码文件如下图