如何运用SCRAPY+MySQL抓取相关信息

最新推荐文章于 2024-03-16 11:06:11 发布

apachephpmysql

最新推荐文章于 2024-03-16 11:06:11 发布

阅读量2.4k

点赞数 1

分类专栏：数据库爬虫文章标签： win7 mysql python 爬虫图片

本文链接：https://blog.csdn.net/apachephpmysql/article/details/44803787

版权

本文介绍在Windows 7环境下，利用Scrapy爬虫框架配合MySQL数据库抓取网站产品信息的方法。首先创建Scrapy项目，然后定义items.py、pipelines.py和settings.py文件，接着编写爬虫文件spiders.py，最后设置数据库并创建表结构。通过运行爬虫，将抓取到的数据存储到MySQL数据库中。

摘要由CSDN通过智能技术生成

首先本文是基于win7操作系统，并且配置好scrapy的运行环境，采用Python语言编写的（前面有疑问的请先Google，百度，拒绝伸手党）

1.假设你已经配置好scrapy的运行环境，这里你只需要运行CMD进入DOS创建一个新的项目工程

scrapy startproject 项目名称 项目名称改成你的具体名称

我们可以看到创建好的目录的树形图，里面需要修改的items.py , pipelines.py setting.py 另外spiders文件夹下需要编写自己的爬虫文件（新建spiders.py）

2.这里就以抓取某网站的产品信息为例子编写

items.py文件如下

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html

from scrapy.item import Item, Field

class ComputerItem(Item):
# define the fields for your item here like:
# name = scrapy.Field()
name=Field(serializer=str)#产品名称1
price=Field(serializer=str)#产品价格2
jprice=Field(serializer=str)#
#gprice=Field(serializer=str)#
#sprice=Field(serializer=str)#二手价5
score=Field(serializer=str)#评分6
screval=Field(serializer=str)#屏幕效果7
buffval=Field(serializer=str)#电池续航8
phtval=Field(serializer=str)#拍照效果9/运行速度
yuval=Field(serializer=str)#娱乐10
desval=Field(serializer=str)#外观设计效果11
cpval=Fie