scrapy爬取数据保存到mysql数据库

最新推荐文章于 2024-07-12 21:30:00 发布

harry5508

最新推荐文章于 2024-07-12 21:30:00 发布

阅读量2.4k

点赞数 3

分类专栏： scrapy 文章标签： scrapy爬取数据保存到mysql数据库 scrapy+mysql爬取数据 Scrapy爬取数据保存到MySQL数据库

本文链接：https://blog.csdn.net/harry5508/article/details/86494748

版权

本文介绍了如何使用Scrapy爬取的数据保存到MySQL数据库中，包括在settings中定义数据库连接属性，创建DBContrl文件夹及MySQLHelper文件进行数据操作，以及在Scrapy管道中实现数据插入。

摘要由CSDN通过智能技术生成

之前一篇文章，写了scrapy入门博客。至于数据库建表也不再赘述。接下来介绍如何将数据进行mysql入库。

其实很简单，数据源都拿到了，入库就是信手拈来，着重介绍利用pymysql连接mysql数据库以及封装。

1.首先在settings里定义数据库连接属性：

地址：host、端口号：port、数据库名：dbname、用户名：user、密码：password

配置如下(根据自己的数据库实际修改)：

#mysql数据库连接属性
MYSQL_HOST="xxx.xxx.xxx.xxx"
MYSQL_PORT=3306
MYSQL_DB="xxx"
MYSQL_USER="xxx"
MYSQL_PASSWD="xxx"

2.在项目目录下创建文件夹DBContrl，编写py文件MySQLHelper：

以下是MySQLHelper内容，代码块里每一步都有详细介绍。

# -*- code：utf-8 -*-

#导入pymys

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

harry5508

关注关注

3
点赞
踩
31

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

将scrapy爬取数据保存到mysql数据库和mongodb数据库

weixin_44947339的博客

01-14

1009

前言编写scrapy框架软件：pycharm mysql图形界面工具：navicat mongodb图形界面工具：Robo 3T 浏览器：Google谷歌爬取网站：https://china.nba.com/ 安装pymysql：在命令行：pip install pymysql 安装pymongo：在命令行：pip install pymongo 一、分析网站我们将爬取NBA网站的首页的要闻...

scrapy保存到mysql数据库

最新发布

roc_wei_chen的博客

07-12

567

创建Scrapy爬虫项目、调试Scrapy程序、爬取的数据保存到数据库、本地文件的操作。

scrapy的数据保存到数据库

yujinlong2002的博客

06-26

750

下载链接数据库的依赖在piplines.py 文件中重写open_spider方法连接到mysql数据库重写process_item方法将数据保存到数据库中重写close_spider() 关闭爬虫时关闭数据库连接代码解析最后找到setting.py文件中的以下内容并且取消注释并且将指定优先级（优先级是一个）在native中查看数据验证程序是否成功运行。

2020-12-25

m0_53957198的博客

12-25

122

数据库mysql笔记 1 1.创建数据库 创建：create 数据库：database create database 数据库名 –创建数据库，名字叫stu 2.查看数据库 查看：show show databases 3.选择数据库 使用、选择：use use 数据库名 4.删除数据库 删除：drop drop database 数据库名 1.整型有符号和无符号：unsigned tinyint:微整型 smallint:小整型 mediumint:中整型 int：整型 bigint:大整型 age

使用scrapy爬取伯乐在线文章并保存到mysql

05-28

在这个项目中，我们利用Scrapy来爬取伯乐在线的文章，并将抓取到的数据存储到MySQL数据库中，实现数据的持久化。首先，我们需要在本地安装Scrapy。可以通过pip命令进行安装： ``` pip install scrapy ``` 创建一...

14_Scrapy爬取数据并存储至数据库.zip

08-23

在本项目"14_Scrapy爬取数据并存储至数据库.zip"中，我们主要探讨的是如何使用Python的Scrapy框架来抓取网络数据，并将其有效地存储到数据库中。这是一次深入的Python项目实战，旨在提升你在网络爬虫开发和数据分析...

利用scrapy将爬到的数据保存到mysql（防止重复）

01-20

本文主要给大家介绍了关于scrapy爬到的数据保存到mysql（防止重复）的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧。 1.环境建立 1.使用xmapp安装php, mysql ,phpmyadmin 2....

scrapy爬取网页信息，保存到MySQL数据库

qq_35492650的博客

09-12

1014

爬取网址 http://lab.scrapyd.cn/ 网页信息分析我们要爬取页面的名言内容和相对应的标签内容，存入MySQL数据库中。通过分析页面，每一个名言的div盒子的class名称都是quote，我们使用css选择器，先把盒子中内容挑选出来，再对盒子中的内容进行提取。 response.css(".quote") 设v为盒子中的内容盒子中第一个span包含名言内容，class...

scrapy爬取伯乐在线博客文章保存到本地数据库

11-09

scrapy爬取伯乐在线博客文章列表保存到本地数据库。这个是本人最近学习爬虫的一个实践案例，源码解析详情请移步博文：https://blog.csdn.net/xiaocy66/article/details/83834261

python之scrapy爬取数据保存到mysql数据库

weixin_30765475的博客

06-28

345

1、创建工程 scrapy startproject tencent 2、创建项目 scrapy genspider mahuateng 3、既然保存到数据库，自然要安装pymsql pip install pymysql 4、settings文件，配置信息，包括数据库等 # -*- coding: utf-8 -*- # Scrapy sett...

Scrapy系列十：把爬取到的数据保存到mysql数据库

qq_41622603的博客

04-07

491

本文代码基于系列八代码的基础上修改 1.安装mysqlclient 命令行执行：pip install mysqlclient 2.配置数据库连接信息在settings.py文件加入数据库连接，属性名没有规定可以随便起 3.获取数据库配置，连接数据库 4.执行数据库操作 5.提交和关闭操作 6.加入到数据清洗的管道 ...

scrapy爬虫储存到mysql_Scrapy爬虫数据存入到MySql数据库

weixin_30063287的博客

01-20

321

主要是两个文件~pipelinesfrom twisted.enterprise import adbapiimport pymysqlclass Www0577HomePipeline(object):def __init__(self,mysql_config):self.dbpool = adbapi.ConnectionPool(mysql_config['DRIVER'],host=my...

scrapy(blog)数据保存到MySQL

大改的博客

07-07

236

1.settings.py(配置)①②2.spiders3.items.py4.pipelines.py

scrapy 保存到mysql_Scrapy保存数据到mysql

weixin_42395135的博客

01-19

201

scrapy pipeline 文件如下：class JianshuPipeline(object):def __init__(self):data = {'host':'localhost','port':3306,'user':'root','password':'******','database':'jianshu','charset':'utf8mb4'}self.conn = pymy...

scrapy存储到MySQL数据库

qq_42832858的博客

07-26

5303

class MysqlPipeline(object): def __init__(self, host, database, user, password, port): self.host = host self.database = database self.user = user self.password = pa...

scrapy----将数据保存到MySQL数据库中

qq_38661599的博客

07-06

884

1.在pipelines.py中自定义自己的pipelineimport pymysql class PymysqlPipeline(object): def __init__(self): # 连接数据库 self.connect = pymysql.connect( host='localhost', db...

写一个使用scrapy爬取某网站数据并写入mysql数据库中

06-09

好的，以下是一个使用 Scrapy 爬取某网站数据并写入 MySQL 数据库中的示例代码： ```python import scrapy import mysql.connector class MySpider(scrapy.Spider): name = "myspider" def start_requests(self): urls = [ 'http://www.example.com/page1.html', 'http://www.example.com/page2.html', 'http://www.example.com/page3.html' ] for url in urls: yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): # 使用 CSS 选择器提取数据 items = response.css('.item') for item in items: # 提取数据 name = item.css('.name::text').get() price = item.css('.price::text').get() # 将数据写入 MySQL 数据库 cnx = mysql.connector.connect(user='username', password='password', host='127.0.0.1', database='mydatabase') cursor = cnx.cursor() add_data = ("INSERT INTO mytable " "(name, price) " "VALUES (%s, %s)") data = (name, price) cursor.execute(add_data, data) cnx.commit() cursor.close() cnx.close() ``` 在这个例子中，我们首先在 start_requests 方法中指定了要爬取的 URL 列表，并使用 scrapy.Request 发送了请求。在 parse 方法中，我们使用 CSS 选择器提取了每个页面中的数据，并将其写入 MySQL 数据库中。需要注意的是，我们在每次写入数据之前都需要建立一个新的数据库连接，并在写入完成之后关闭连接。当然，这只是一个简单的示例，实际情况中还需要考虑异常处理、数据清洗、数据去重等问题。