基于python3.7的scrapy爬取大众点评上的健身房

使用IDE ,pycharm

一、首先配置好python环境，这个自行安装了，推荐一个python环境安装地址
二、配置scrapy环境，这个在pycharm中的setting 搜索安装就行
因为scrapy依赖了一些其它的库，所以你先得把其它的库安装好才行

按照上图所示从下向上依次安装就可以了

三、创建一个scrapy工程，在pycharm下的terminal里运行命令 scrapy startproject projectName,这里的projectName就是你自己取的工程名字，运行完以后，通过pycharm 找到并打开刚刚创建的projectName这个文件，然后打开setting,安装依次scrapy就行，这次只需要安装scrapy就可以，然后你会看到下图这种箭头那会是红色的，你选择show all添加一个就行，添加的时候默认就行

然后在terminal 运行指令 scrapy genspider dianping dianping.com 这个命令的意思是，创建一个名为dianping的爬虫脚本，这个脚本的搜索域名为dianping.com，到此我们的scrapy框架基本搭建完毕目录结构如下所示

四、然后我打开大众点评分析我们要爬的网站源码

我们需要的数据全在这个div里。
我们需要确定我们要爬的数据，我这里只爬取了商家的名字和星级。为什么只做爬了这两个数据，最后在说。
首先在items.py中定义爬虫最终需要爬取哪些想

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html