scrapy爬虫数据存入mysql数据库

上篇博客使用scrapy框架爬取豆瓣电影top250信息将各种信息通过json存在文件中,不过对数据的进一步使用显然放在数据库中更加方便,这里将数据存入mysql数据库以便以后利用。
运行环境:

 1. win7-64bit
 2. python 3.5.3
 3. mysql 5.7.17

安装mysql数据库模块

打开命令行输入python后,通过import MySQLdb检查是否支持mysql数据库

这里写图片描述

出现错误
ImportError: No module named MySQLdb
那么就要手动安装,查找发现mysqldb只支持到python3.4,这里选择使用pymysql,通过这里下载后解压,切换到PyMySQL3-0.5目录,通过shift+鼠标右键选择在此处打开命令窗口,输入命令python setup.py install安装

这里写图片描述

安装结束后,测试是否可以使用

这里写图片描述

安装成功!

创建数据库和表

由于上篇博客中爬取的数据属性就是对应的MovieItem属性

class MovieItem(scrapy.Item):
    # 电影名字
    name = scrapy.Field()
    # 电影信息
    info = scrapy.Field()
    # 评分
    rating = scrapy.Field()
    # 评论人数
    num = scrapy.Field()
    # 经典语句
    quote = scrapy.Field()
    # 电影图片
    img_url = scrapy.Field()

据此创建数据库表,创建数据库的时候加上DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci,以防出现乱码

create database douban <
  • 19
    点赞
  • 152
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
可以使用Python编写一个Scrapy爬虫来爬取数据,并将数据存储到MySQL数据库中。首先需要安装MySQL连接库,例如mysql-connector-python。然后在Scrapy爬虫的piplines.py文件中增加一个MySQL Pipeline,以便将数据存储到MySQL数据库中。此外,还需要添加MySQL数据库的连接信息和表结构信息,以便能够正确地连接数据库和将数据存储到正确的表和字段中。以下是一个示例: ``` python import mysql.connector class MySQLPipeline(object): def __init__(self, mysql_host, mysql_username, mysql_password, mysql_database): self.mysql_host = mysql_host self.mysql_username = mysql_username self.mysql_password = mysql_password self.mysql_database = mysql_database @classmethod def from_crawler(cls, crawler): mysql_host = crawler.settings.get('MYSQL_HOST', 'localhost') mysql_username = crawler.settings.get('MYSQL_USERNAME', 'root') mysql_password = crawler.settings.get('MYSQL_PASSWORD', '') mysql_database = crawler.settings.get('MYSQL_DATABASE', 'test') return cls(mysql_host, mysql_username, mysql_password, mysql_database) def open_spider(self, spider): self.connection = mysql.connector.connect( host=self.mysql_host, user=self.mysql_username, password=self.mysql_password, database=self.mysql_database ) self.cursor = self.connection.cursor() def close_spider(self, spider): self.cursor.close() self.connection.close() def process_item(self, item, spider): sql = "INSERT INTO table_name (column1, column2, column3) VALUES (%s, %s, %s)" values = (item['column1'], item['column2'], item['column3']) self.cursor.execute(sql, values) self.connection.commit() return item ``` 其中,MYSQL_HOST、MYSQL_USERNAME、MYSQL_PASSWORD和MYSQL_DATABASE是在Scrapy的settings.py文件中设置的变量,用于配置MySQL连接信息。在Scrapy的Spider中,通过yield发送数据MySQL Pipeline进行处理。例如: ``` python class MySpider(Spider): name = 'my_spider' start_urls = ['http://www.example.com'] def parse(self, response): items = response.xpath('//div[contains(@class, "item")]') for item in items: # 解析数据 column1 = item.xpath('a/text()').extract_first().strip() column2 = item.xpath('p/text()').extract_first().strip() column3 = item.xpath('span/text()').extract_first().strip() # 将数据发送给MySQL Pipeline yield { 'column1': column1, 'column2': column2, 'column3': column3 } ``` 这样就可以将Scrapy爬虫爬取的数据存储到MySQL数据库中了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值